海外GEO验收都锁批次ID，国内客户却问我「跑完不就行了」

上周跟纽约那边开季度复盘会，他们GEO供应商的验收报告第一页就三行：批次ID、模型版本、采样分母。我顺手截图发给了国内一个刚启动GEO的客户，他回我一句：“跑完不就行了，搞这么复杂？”

我当时就有点破防。这个case很有insight——不是他敷衍，是国内很多团队压根没把“可复现”当验收底线。

我在纽约跑批的时候，踩过一个坑至今记得。当时测试集里有一条问句：“保修期内换货要多久？”AI答了“7天无理由”。我以为是模型幻觉，查了两天日志才发现：那批数据里，售后段落根本没被爬取到，因为robots.txt把售后路径给拦了。但验收报告上写的是“覆盖率98%”，没人告诉我分母是“已爬取页面”还是“全站页面”。

从那以后我给自己定了三条规矩：

1. 批次ID必须在请求发起时就生成，全程带上。 不是跑完再补，补的ID等于没有。你没法证明这条答案对应哪次数据快照。
2. 分母口径先锁死再开跑。 是“有效问句数”还是“全部问句数”？差一个分母，验收结论能翻个面。
3. 模型版本和采样粒度写进合同附件。 别信口头说“我们会升级”，升级了不通知，你拿旧报告去对账就是自找麻烦。

我拿这三条去问国内客户的供应商，对方说“我们系统自动记录的”。我让他把最近三批的批次ID拉出来对一下时间戳，结果有两批的ID是同一串。他解释是“复用模板”——这就是典型的糊弄式验收。

说实话，GEO在国外已经很成熟，国内要加快步伐，但加快不等于跳过口径。你连分母都没对齐，跑一百批也是自嗨。

所以我想问一句：你们现在验收GEO结果的时候，批次ID是请求发起时就生成全程带着，还是跑完补一个交差？评论区聊聊，我看看国内到底有多少团队真把这条写进流程了。