给GEO试点加了个「口径复核」环节，三天砍掉四成采样，反而踏实了

上个月我牵头做个小范围GEO试点，就在我们官网的产品问答页上，拿两条产品线试水。老板批预算的时候没多问，就一句：「你打算怎么证明它有用？」我当时没答利索，回来琢磨了好几天。

问题出在「有用」这两个字上。服务商给的报告模板里，「有效曝光」「引用提升」这些词摆了一排，但你要问具体怎么算的，他跟你讲算法、讲模型。我干了十几年IT，最怕这种讲不清分母的指标。我们厂里评设备，说良品率上去了，那得先锁死什么叫「良品」，是尺寸公差还是外观瑕疵，口径定死了再谈涨跌。GEO也一样，口径没锁死，涨了跌了都是话术。

所以这次试点我自己加了个环节，叫「口径复核」，说穿了很简单：所有采样数据，进报告之前，先过一遍我这边定的复现规则。具体三条：

第一，同一个问句，必须用同一台设备、同一个账号、同一个时间段跑。我们试过，早上九点和下午三点跑同一个问句，AI引用的段落能差出两屏，你要不锁时间，这数据没法看。

第二，AI回答里提到的参数，得能跟我们官网那版参数表对上，对不上的不算有效引用。头一天跑下来，服务商报上来六成引用率，我让他把引用的原话贴出来，一条一条对，真正对得上我们参数表的只有三成半。剩下的要么是旧料，要么是拿竞品参数混着说的。

第三，也是最要命的一条：AI说的参数，我们的客服得能当场复述出来，并且跟车间最新那版口径一致。这一条是我从上回客服被客户问住那事上长记性的，客户拿着AI给的建议来问，客服答不上来，那这「引用」就是虚的。

加上这个复核环节，头三天就砍掉了四成采样，看着数据量少了，我心里反而踏实。因为剩下的六成，每一条我都能追到日志、追到截图、追到具体是谁在什么时间跑的。

当然，这么做慢，也费人。服务商私下跟我抱怨，说别家没这么较真的。我说较真不是针对你，是我们这种传统企业，预算就这一笔，试错了明年再想要就难了。

现在试点跑了两周，数据还没到能下结论的时候。我就想问问社区里做过落地的同行，你们在验收的时候，是怎么把「AI说了」跟「我们认」这两件事对上号的？有没有不靠人肉一条条核的省事办法？还是说这活儿就省不了，只能靠笨功夫？