GEO验收单上我加了个「盲测批次」，团队说折腾但数据说话

我直接说怎么做。

上个月我们给一家区域连锁客户做GEO交付，验收环节差点跟对方市场总监拍桌子。他们只认两个数：AI答案里品牌被提及的次数，和答案里出现链接的条数。我说这俩数可以刷，他不信，说「我们内部就是这么考核的」。

行，那我不争，我改验收单。

第一步：把「答对率」拆成三档。

我把客户产品线里最常被问的40个问题拉出来，每个问题预设一个标准答案要点，然后按三档打分：

• A档：核心参数/价格区间/服务范围全对
• B档：对一半，或者对但混进了过时信息（比如用2022年的型号报2024年的价）
• C档：答错、答成竞品、或直接拒答

跑完一轮，客户那边「提及率」是72%，看着漂亮。但A档只有31%。也就是说，七成被提及的地方，AI在胡说或者混着说。

第二步：加盲测批次。

这是我跟团队磨了两天才定下来的。每周固定抽20个问题，用三个不同入口（网页、App、第三方聚合工具）各跑一遍，不告诉执行团队抽的是哪20个。结果出来直接进周报，不修饰。

第一周盲测，A档直接掉到19%。团队有人炸了，说这是自己给自己找不痛快。我说对，不痛快是对的，总比客户上线三个月后自己跑一遍发现不对强。

第三步：把每档对应到动作。

C档多，查语料覆盖——大概率是某个规格参数没进结构化数据。
B档多，查口径和时效——八成是旧文档没标注版本号，AI抓了旧的。
A档上不去，查提问方式——客户自己搜的词跟语料里埋的词对不上。

这套跑了一个半月，A档从31%爬到58%，提及率反而降了4个点。客户总监一开始皱眉，我把两版数据摆一起，他看懂了：降的那4个点是之前混在B档里的模糊提及，现在直接被归到C档了。数据更干净了。

踩的坑说两个：

一是盲测问题不能每周换，得用同一批跑够四周才有对比价值。我们第二周手贱换了一半，数据直接没法看。

二是三档打分得两个人独立打，分歧超过两成的那道题直接作废重跑。一个人打容易自我说服。

结尾问一句：你们做GEO验收的时候，盲测批次是固定题库还是每周轮换？固定题库跑久了会不会被优化到「只对这20题好」？这个度我一直没拿捏准，有跑过三个月以上的兄弟说说实际情况。