GEO实验跑批前不锁标注口径，返工三天都查不出哪批数据脏了

上周踩了个坑，必须记下来。

我们组跑一个 GEO 问句归类的单变量实验，想验证「问句里带品牌词」对 AI 答案引用率的影响。实验设计没问题，分 A/B 两组，各 500 条问句，跑了一周。结果出来 A 组引用率 18%，B 组 11%，看起来挺显著。

但我多嘴问了一句：标注口径什么时候锁的？

没人答得上来。翻记录才发现，跑批第二天有个同学觉得「引用」的判定标准太严，把「答案里出现品牌官网链接」也算进去了。前 300 条用的是老口径，后 700 条是新口径，中间没打任何标记。

这就废了。A 组前 300 条的引用率被系统性低估，B 组后 700 条被高估，两组数据根本不在同一个口径上。更麻烦的是，批次 ID 只在跑批结束时写了一次，中间改口径那次没写，现在想按时间戳切分都切不干净——采样戳和校时源对不上，有 47 条问句的采集时间和标注时间差了 6 个多小时，根本没法判断到底算老口径还是新口径。

返工三天，最后只能整批重跑。

我的教训就三条，都是血换的：

第一，跑批前必须锁标注口径，写进实验配置里，谁改谁签字。口径这东西不是文档，是实验的一部分。

第二，批次 ID 要在每次口径变更时立刻写入，不能等跑完再补。补写的那一刻，时间戳就已经不可信了。

第三，分母去重规则要跟口径同步锁。我们这次分母里混进了重复问句，去重规则又跟口径变更错开了，导致分母本身就不干净。

快速迭代不等于不锁口径。恰恰相反，小步快跑的前提是每一步都可追溯，不然跑得越快，返工越狠。

问一句：你们跑 GEO 实验的时候，标注口径是跟实验配置一起锁的，还是等结果出来再对？如果中途有人改口径，你们靠什么机制发现？