海外跑了两年GEO基线，回国发现大家连问句池版本都还没锁死

我在纽约那边做GEO基线跑了两年，去年回国接手亚太区的数字营销，发现一个很基础的gap：国内很多团队连问句池的版本管理都还没做。

这不是吐槽，是这两天跟三家供应商聊完的真实感受。

具体场景

上周我让团队把品牌相关的真实用户问句拉了个池子，大概1200条，来源是客服录音、站内搜索、社媒评论区。然后我做了件在海外算basic operation的事——给问句池打版本号，v1.0锁定日期、锁定问句原文、锁定标注规则。

结果供应商问我：「为什么要版本号？我们每次跑批都是按最新问句来的。」

我当时就有点懵。你想，如果问句池每周都在变，那你这周跑出来的GEO表现跟上周怎么比？分母都不一样，你说涨了20%，我凭什么信？

海外踩过的坑

我在纽约的时候吃过这个亏。当时我们跑一个retail客户的GEO项目，前三个月效果曲线特别好看，客户很开心。第四个月换了个实习生维护问句库，他把一批长尾问句删了——他觉得那些问句「没人搜」。结果下个月报告出来，准确率掉了8个点，团队慌了，以为是模型退化。

我翻了三天日志才发现：不是模型变差了，是分母被动了。那批长尾问句恰恰是模型答得最准的，删掉之后剩下的都是hard case，准确率当然掉。

从那以后我们内部就一条铁律：问句池版本不锁死，任何环比数据都不许进汇报PPT。

回国后的判断

所以我现在跟供应商谈，第一句话就是：

先把问句池v1.0锁死，跑基线，再谈优化。

具体三件事：

1. 问句原文逐字锁定，不改写、不合并同义问句（同义标注单独做字段，不能直接改原文）
2. 采样粒度写进合同，是按周采样还是按月采样，批次ID怎么编，提前定死
3. 验收窗口写清楚，跑批时间戳要跨时区校时，别到验收的时候发现两边时间对不上

这三件事不做，后面所有「效果提升」都是耍流氓。

一个还没想清楚的问题

我现在卡在一个细节上：同义词标注到底应该做在字段级还是文档级？

字段级更细，但维护成本高；文档级省事，但召回的时候容易把不同意图的问句混在一起。我在纽约那边用的是字段级，但那是团队有专门的标注人力，国内这边客户不一定愿意出这个预算。

想问问社区里跑过实际项目的朋友：你们同义词标注是怎么处理的？有没有在预算有限的情况下做过折中方案？