翻出三个月前的GEO问句跑批记录，我发现AI答案漂移的真凶是标注口径没锁死
大佬们，求指点一个我最近才想明白的坑。
事情是这样的：上个月我们给一个客户做GEO效果复盘，我按惯例把同一批问句（大概120条）重新跑了一遍，结果AI答案的「命中率」从第一轮的68%掉到了51%。我第一反应是AI模型更新了，或者采样时段变了，还专门发了帖问采样时刻的影响。
但昨天我翻出三个月前的原始跑批记录和当时的标注表，逐条对了一遍，发现问题根本不在AI那边——是我们自己插标的时候口径没锁死。
具体来说，第一轮跑批时，问句「XX产品适合敏感肌吗」，AI回答里出现了「温和」「不刺激」这类词，我当时的标注是「命中，因为提到了产品温和属性」。第三轮跑批时，同一个问句，AI回答里出现了「适合多数肤质，但建议先做局部测试」，我标注成了「部分命中，因为没直接说敏感肌能用」。
问题来了：同一个问句、同一个产品页内容，我前后两次标注用的标准根本不一样。第一次我认的是「语义相关」，第二次我认的是「明确包含关键词」。这俩能一样吗？
我把120条问句按标注口径重新分了三类：
- 语义相关就算命中：只要AI答案里出现了产品页的核心卖点词，不管句式，都算。
- 必须原词命中：AI答案里得出现产品页上那几个「敏感肌适用」的原词，换说法就不算。
- 答案必须可溯源到页面某一段：AI答案得能指回产品页的具体段落，哪怕换了说法，只要逻辑链对得上也算。
按这三套口径分别重算，同一批跑批数据，命中率分别是68%、52%、61%。也就是说，我上个月看到的「掉到51%」，其实是因为我第三轮不小心用了第二套口径，而第一轮用的是第一套。压根不是AI变了，是我自己换了尺子。
踩这个坑之后我做了两件事：
第一，把跑批记录表里加了一列「标注口径版本号」，每次插标前先确认用的是哪版口径，口径变更必须写变更日志。
第二，把「命中」的定义从一句话拆成了三个维度：语义命中、原词命中、溯源命中，分开统计。这样哪怕口径要调，也能看出是哪个维度在动。
现在回头想，GEO跑批最怕的不是AI答案漂移，而是我们自己量答案的尺子也在漂。
所以想请教各位大佬：你们在做GEO效果追踪的时候，标注口径是怎么锁的？是每次跑批前固定一份标注手册，还是按批次记录口径版本？有没有人遇到过标注员之间口径不一致导致数据对不上的情况，后来怎么解的？求大佬指点。