GEO优化
GEO实验跑偏八成是因为分母没去重,我做了张口径卡前置校验
116 0 45
上周连跑三个 GEO 小实验,两个白跑。不是问句设计的问题,是分母在跑之前就脏了。
先说白跑的那两个。
第一个:测「加地域限定词能否提升本地线索」。我让同事从问句库里筛了 500 条带城市的问句,跑完对比引用率,涨了 18 个点,正高兴。回头一查,这 500 条里有 60 多条是同一问句换个城市名,AI 侧曝光字段把这些算成独立样本,分母虚高,引用率的分母被稀释了,实际涨幅只有 6 个点。
第二个更冤。测「FAQ 结构对引用位置的影响」,跑完发现新结构引用位置往前跳了。我追了两小时采样日志,发现两次采样的时间窗口差了 40 分钟,AI 侧那段时间正好在刷缓存。不是结构有用,是校时没对齐。
所以我现在跑任何 GEO 实验前,先填一张口径卡,四个字段,缺一个不跑:
- 分母定义:曝光/引用按什么粒度去重?同一语义问句换措辞算一条还是多条?先锁死。
- 采样戳校时:两次对比的采样窗口误差控制在多少以内?我的底线是 10 分钟,超了就重采。
- 批次 ID 写入时机:批次 ID 必须在请求发出前写入,不能事后补。事后补的批次,跨天对账永远对不上。
- 止损线:单次实验预算 200 元,超了直接停,不追。
这张卡是前置校验,不是事后复盘。差别在哪?事后复盘能告诉你为什么白跑,前置校验能让你根本不白跑。
效果:白跑率从我接手时的六成压到一成左右。单次实验 200 元止损线听着抠,但正因为每次敢快速迭代,一个月能跑十几个小实验,比憋一个大的靠谱。
快速迭代的前提是每次跑出来的数能互相比较。分母不干净,跑再多次也是各跑各的。
问一句:你们做对比实验时,分母去重是放在问句库侧做还是采样侧做?我这边两边的数老是对不上,想看看别人怎么处理的。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
