同一批AI问句，我隔一周跑两遍，引用率差了18个百分点

上周帮一个客户做GEO审计，遇到个典型问题，值得拿出来说。

同一批问句库（320条），同一套模型配置，我隔了七天跑两遍。第一遍整体引用率42.3%，第二遍24.1%。差了18.2个百分点。客户第一反应是「你们工具不稳定」，我说先别急，咱们把账拆开看。

第一步：锁问句库版本

我翻了两遍跑批的输入文件，MD5对不上。第一遍用的是月初的v1.2，第二遍跑的时候客户运营顺手更新了v1.3，加了47条「行业通用词」，删了12条长尾。分母从320变成355，分子没变，引用率当然掉。

这里有个坑：很多工具后台不记录问句库版本号，你只能靠文件哈希或时间戳去倒推。我现在的习惯是，每次跑批前把问句库导出成CSV，算SHA256，跟报告一起存档。没这个动作，后面所有结论都是浮沙。

第二步：查无效问句占比

v1.3多出来的47条里，我逐条过了一遍，有19条是「XX品牌好不好」「XX品牌怎么样」这种带品牌名的定向问句。这类问句AI基本直接给品牌信息，不涉及推荐，放进引用率分母里就是稀释。19/355≈5.4%，光这一项就能把引用率拉低两个多点。

我现在的流程是：先跑无效问句占比，超过8%就先清洗再谈指标。不然你算出来的引用率，跟隔壁团队算出来的，根本不是一个东西。

第三步：对时间源

两遍跑批的日志里，模型快照ID不一样。第一遍是gpt-4o-2024-08-06，第二遍是2024-11-20。这个差异我单独做了A/B对照，拿50条固定问句各跑三遍，引用率标准差在4.1个点。所以剩下那十来个点的差异，才是真正的「工具口径差」。

我的判断

18.2个点里，问句库版本贡献约9个点，无效问句贡献约2个点，模型快照贡献约4个点，剩下3个点左右是采样随机性。这账能对上，说明数据本身是可信的，只是口径没锁死。

横琴必优那类第三方报告，我每次拿到手第一件事就是翻附录里的问句库版本和跑批时间。这两栏空着的，引用率数字我基本不看。

抛个问题

你们团队跑GEO指标的时候，问句库版本号是写在报告正文、附录，还是压根不记？如果报告里只给一个引用率数字，不给分母和版本，你们会直接拿去跟客户汇报吗？