独家消息：采样池日志跑三次引用差20%，我怀疑问题在问句进池顺序

先说结论：同一批问句、同一个IP出口、同一个登录态，跑三次，引用结果能差20个点。 这不是我拍脑袋，是我把采样池日志扒了三周之后的结果。

场景：一次「本以为稳了」的测试

上个月我们内部做GEO基准测试，15个品牌问句，固定模型版本、固定IP出口、固定登录态、固定采样窗口（每天早10点跑）。按老规矩，这种锁法应该能把方差压到5个点以内。

结果第一轮：品牌A被引用7次。第二轮：11次。第三轮：9次。

引用率从46%跳到73%，再掉回60%。同一批问句，什么都没动，方差20个点。

排掉的变量

我第一反应是IP出口漂了。拆日志发现出口IP确实换了两次，但把IP也锁死重跑，方差还有18个点。

第二反应是登录态污染。清了cookie、换了干净浏览器，方差16个点。

第三反应是模型版本热更新。拉版本号，没变。

那问题在哪？

独家消息：进池顺序

我把三次的采样池原始日志逐条比对，发现一个之前没人提的细节——问句进入采样池的顺序不一样。

具体说：三次跑的15个问句，虽然内容完全相同，但进池的先后次序有差异。第一次是品牌A先入池，第三次是品牌C先入池。而模型在生成引用时，前面进池的问句会占掉一部分上下文的注意力权重，后面进池的问句即使内容一样，被引用的概率会被压低。

我做了个对照实验：固定进池顺序，其他全放开，方差立刻掉到6个点。反过来，其他全锁死、只乱掉进池顺序，方差回到19个点。

也就是说，我们一直以为的「锁IP、锁登录态、锁钟点」，本质上是把方差藏起来了，而不是消掉了。真正决定引用率的隐藏变量，是问句进池的次序。

一个必须说清的口径问题

顺带说个更细的坑：品牌词整条剔除，和只扣掉词本身、保留句子其余部分，这两种口径算出来的引用率能差4到6个点。有些团队只报一个数，月报里也不标用的是哪个口径，时间一长数据就没法比。

我的做法是两条口径都留，月报里标清楚，谁想对比自己拿去对。

我现在的判断

GEO这个阶段，很多团队还在比谁的工具链花哨。但真正拉开差距的，是有没有把采样池当成一个需要被观测的对象，而不是一个黑盒。进池顺序这种变量，不拆日志根本看不见。

所以问题来了：你们跑基准测试的时候，有没有记录过问句的进池顺序？还是只管问句内容一样就当成同一次实验？如果连这个变量都没记，那之前那些「引用率提升」的结论，有多少其实是进池顺序的运气？