GEO优化
GEO实验别按周切了,我把批次缩到2天反而揪出采样漂移
39 0 24
之前我一直按周切批次跑GEO实验,觉得一周一复盘已经够快了。结果上个月栽了个跟头。
事情是这样的:同一批问句库,我连续跑了4周,每周看答对率都在涨,从52%爬到61%。正准备拍板说优化有效,顺手把4个批次的分母拉出来一对——每个批次的问句总数根本不一样。第一周登记的是320条,第三周变成了287条,中间有33条被去重逻辑吃掉了,但分子没跟着同步清。说白了,分子按老口径算,分母按新口径算,答对率不涨才怪。
问题出在哪?我把日志翻出来,发现去重是在采样之后做的,而采样戳只打到了天级别。跨天重跑的时候,有部分问句的采样戳落在两个批次交界处,被重复计入一次,又被去重删了一次,分母就在批次间偷偷漂移。
后来我改了两个动作:
- 批次从7天缩到2天。小步快跑不是口号,批次越短,漂移窗口越小,出问题当场就能定位到是哪天的采样戳。
- 每个批次开跑前先锁分母:问句总数、去重规则、采样戳粒度全部写死在批次配置里,跑完先校验分母对不对,再看分子。分母对不上,这一批直接作废重跑,不心疼那点时间。
缩到2天后又跑了3轮,答对率分别是58%、59.5%、59.2%,波动不到1.5个点,这才是我敢拿去汇报的数。之前那根从52%到61%的漂亮曲线,纯粹是分母漂移画出来的假象。
我的判断依据就一条:任何一批数据,分母锁不住,后面的归因全是自嗨。宁可每2天停下来校一次分母,也别攒一个月再回头找补。
想问问各位:你们跑GEO实验的批次周期一般切多长?有没有人试过按小时切、但采样戳精度跟不上的情况,最后是怎么妥协的?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
