/posts/geo-mvhy3p9n-a178
GEO优化

小步快跑跑了两个月,我发现自己一直在用「假分母」算GEO采纳率

效率狂魔 39 0 21

先说结论:GEO实验里最容易被忽略也最致命的,是分母口径。

我们团队从三月开始按周跑GEO小实验,每次只动一个变量,一周一迭代,节奏拉满。前六周数据看着很漂亮,AI答案的「采纳率」一路从18%爬到31%。第七周我把实验日志翻出来做归因,发现这31%根本站不住。

问题出在分母上。

我们的采纳率是这么算的:AI答案里正确引用了我们内容的次数 / 总采样次数。听起来没问题对吧?但实际上有三个口径在打架:

1. 采样戳没有校时源。

前端采样器用的是本地时间戳,后端写入用的是UTC。跨零点的那批采样,时间戳直接错位8小时。结果就是周一周二的样本被算进了上周,周报里的趋势线是假的。我拿原始日志对了一遍,光这一项就让「周环比增长」虚高了4个百分点。

2. 批次ID写入时机不对。

我们的批次ID是在答案返回之后才打的。这意味着如果一次会话里AI返回了多轮答案,只有最后一轮带批次号,前面几轮全成了孤儿样本。但这些孤儿样本又确实计入了总采样次数。分母被撑大了,分子却没跟上,采纳率被系统性压低。

3. 分母去重没做。

同一个用户问句在一天内被采样了三次,三次都算独立样本。但用户实际只问了一次。我们的分母里至少有23%是重复采样。也就是说,真实的采纳率其实比31%高,但具体高多少,得先把去重做完才知道。

我现在的做法:

  • 所有采样器统一走NTP校时,写入时强制带时区偏移量。
  • 批次ID在会话开始时生成,贯穿整个会话生命周期,每轮答案都挂上。
  • 分母按「用户+问句+天」去重,重复采样只保留首次。
  • 每周跑实验前,先跑一遍分母体检,三个口径全部对齐才放量。

这套东西听起来很基础,但我敢说至少一半跑GEO实验的团队没做全。大家都盯着分子看AI答对了几次,没人回头看分母是不是干净的。

快速迭代没问题,但分母不锁,迭代出来的全是噪声。我现在每次开新实验,第一件事不是改内容,是先把分母口径锁死,再谈变量。

问一句:你们跑GEO实验的时候,分母是按「采样次数」算还是按「去重后的用户问句」算?跨零点的样本怎么处理的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。