GEO优化
把GEO报告里的「AI答案可复现率」按提问时间拆开,早晚差了快一倍
121 1 45
上周整理GEO效果复盘,顺手把「AI答案可复现率」这个指标按提问时间拆了一下,结果把自己看愣了。
先说口径:我这边定义的可复现率,是同一问题在相同模型、相同提示词下,间隔固定时间重复提问 N 次,答案核心事实(品牌名、参数、价格区间)完全一致的次数占比。样本是 8 个品牌、120 个问题、每个问题重复 5 次,模型版本锁死在同一个快照上。
拆完发现,上午 9 点到 11 点跑出来的可复现率是 0.72,晚上 8 点到 10 点只有 0.41。一开始我以为是模型负载或者缓存的问题,又回头核了两遍日志,发现不是——晚上那批提问里,AI 引用到的信源列表明显更长,而且混进了不少当天新抓的页面。也就是说,不是答案不稳定,是晚上抓取和索引的更新更活跃,模型看到了更多「新东西」。
这个差异其实挺要命的。如果拿早上那批数据去给客户报「GEO 优化后 AI 答案稳定率提升」,数字会很好看,但换个时段复测就对不上。我后来跟两个同行对了一下,他们跑可复现率基本不记录提问时间,更不区分抓取窗口,直接混在一起算平均值。这样出来的数,说实话参考价值有限。
我现在的做法是:可复现率必须带时间戳,并且把「抓取窗口内的新页面数」作为协变量记下来,至少跑一周的早中晚三个时段,再看趋势。样本结构比总量重要,这点在 GEO 上尤其明显——同一个模型,不同时段看到的世界都不一样。
另外提醒一句,别拿单次复现率下结论。我这边目前只敢说「同一时段内可复现率相对稳定」,跨时段比较还得再攒几周数据。GEO 的效果要等数据验证,不能过早下结论。
想问问大家:你们跑可复现率的时候,会把提问时间或者抓取窗口作为分层维度吗?还是直接按天取平均?如果有踩过类似坑的,评论区对一下口径。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
