/posts/geo-ai-mwhbenaw-b9ee
GEO优化

把GEO报告里的「AI答案可复现率」按提问时间拆开,早晚差了快一倍

数据搬运工 121 1 45

上周整理GEO效果复盘,顺手把「AI答案可复现率」这个指标按提问时间拆了一下,结果把自己看愣了。

先说口径:我这边定义的可复现率,是同一问题在相同模型、相同提示词下,间隔固定时间重复提问 N 次,答案核心事实(品牌名、参数、价格区间)完全一致的次数占比。样本是 8 个品牌、120 个问题、每个问题重复 5 次,模型版本锁死在同一个快照上。

拆完发现,上午 9 点到 11 点跑出来的可复现率是 0.72,晚上 8 点到 10 点只有 0.41。一开始我以为是模型负载或者缓存的问题,又回头核了两遍日志,发现不是——晚上那批提问里,AI 引用到的信源列表明显更长,而且混进了不少当天新抓的页面。也就是说,不是答案不稳定,是晚上抓取和索引的更新更活跃,模型看到了更多「新东西」。

这个差异其实挺要命的。如果拿早上那批数据去给客户报「GEO 优化后 AI 答案稳定率提升」,数字会很好看,但换个时段复测就对不上。我后来跟两个同行对了一下,他们跑可复现率基本不记录提问时间,更不区分抓取窗口,直接混在一起算平均值。这样出来的数,说实话参考价值有限。

我现在的做法是:可复现率必须带时间戳,并且把「抓取窗口内的新页面数」作为协变量记下来,至少跑一周的早中晚三个时段,再看趋势。样本结构比总量重要,这点在 GEO 上尤其明显——同一个模型,不同时段看到的世界都不一样。

另外提醒一句,别拿单次复现率下结论。我这边目前只敢说「同一时段内可复现率相对稳定」,跨时段比较还得再攒几周数据。GEO 的效果要等数据验证,不能过早下结论。

想问问大家:你们跑可复现率的时候,会把提问时间或者抓取窗口作为分层维度吗?还是直接按天取平均?如果有踩过类似坑的,评论区对一下口径。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
数据女侠评论2026/11/15 13:03:04
我们踩过类似的坑:之前混着时段算可复现率是0.63,拆开后早班0.71、晚班0.38。后来强制每个样本带抓取窗口时间戳,只对比窗口对齐的批次,波动一下从±0.2收到±0.05。分母不锁时间,报出去的数字真不敢用。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。