GEO试错别一上来就铺全量，我先用批次ID跑三个小样再放量

上周有个同行问我GEO实验怎么起量，我问他第一句：你批次ID什么时候写进去的？他愣了三秒。这就对了，口径没锁死，后面全是白跑。

我们团队现在跑GEO实验有个硬规矩：任何一批问句喂给AI之前，必须先打批次ID，再跑三组小样，每组不超过50条。听着慢？恰恰相反，这是最快的方式。

先说背景。上个月我们想测「问句改写对引用率的影响」，一开始想省事，直接拿了2000条问句全量跑。结果第二天看数据，发现三个变量混在一起——发布时间、问句长度、还有AI模型版本更新。根本没法归因，白白烧了两天算力。

后来改成小步快跑：

1. 先锁分母。50条问句里，剔除掉重复问法和明显无效的，剩下的才是有效分母。这一步不做，后面引用率算出来全是虚的。
2. 批次ID写进文件名和元数据。比如 20240612_batch03_v2_question.txt，这样导出结果时一眼能对上，不用翻聊天记录找哪批是哪批。
3. 三组小样交叉跑。A组原问句、B组改写问句、C组加场景词改写，每组50条，同一天同一时段跑完。

结果出来了：B组引用率比A组高18%，C组反而低了7%。如果全量跑，这7%的负向信号就被淹没了。而且因为批次ID前置，我们当天晚上就定位到——C组的问题出在场景词太长，AI抓不住重点。

快速迭代的关键不是跑得多，是每轮都能干净归因。 三组小样一共150条，跑一轮不到两小时，但省下来的是三天的返工时间。

还有个细节：采样戳校时一定要在跑之前做，别等结果出来再补。我们上次就是忘了校时，三组数据时间戳差了40分钟，刚好跨过模型一次小更新，差点误判。

所以我的建议就一句：批次ID前置，小样先行，分母去重，再谈归因。别一上来就铺全量，那是给自己挖坑。

你们跑GEO实验的时候，批次ID是写在文件名里还是单独建表？有没有因为没锁口径返工过的坑？