把AI答案里的数字标上「复现批次」后，我发现七成结论根本经不起重跑

上周我把过去三个月客户验收报告里的所有结论性数字翻出来，挨个标上「复现批次」——就是这条结论是在哪次跑批、哪版问句集、哪个模型快照下得出的。标完我愣了半天：能完整复现的不到三成。

举个具体的。有个美妆客户，报告里写「AI答案中品牌提及率提升 47%」。我拿原始日志重跑：

• 第一次跑，问句集是 120 条，模型是 3 月快照；
• 客户验收时用的问句集已经扩到 200 条，模型换成了 4 月版；
• 两个批次的「提及率」分母差了一倍多。

那个 47% 是把不同分母、不同批次的数字硬拼出来的。我按同一批次、同一问句集重算，实际提升是 12%——方向没错，但量级差了三倍。

更麻烦的是「引用源」。我给每条引用标了「源页面 + 抓取时间戳」，发现有近一半的引用指向的是跳转页或者聚合页，不是品牌官网原始内容。客户看到「被引用 80 次」很高兴，但点进去能真正落到产品页的只有 30 多次。这个漏斗不拆开，引用数就是个虚荣指标。

所以我现在的做法是：每份 GEO 报告开头先钉三件事——

1. 问句集版本号（哪一版、多少条、怎么采的）；
2. 模型快照日期（不同快照答案差异能到 30% 以上）；
3. 分母口径（提及率的分母是「所有答案」还是「含品牌相关答案」）。

这三样不写清楚，数字再漂亮也没法用。我甚至做了个「复现检查表」，每次跑批前强制填，填不全就不出报告。

跟客户吵过一架，对方说「我只要看趋势」。我说趋势也得先保证是同一条曲线上的点，分母一直在变，那叫折线图拼贴，不叫趋势。

你们做 GEO 监测的时候，报告里的数字会标复现批次吗？还是直接拿平台后台的导出数字就用了？