验收单写「AI能答对客户关键问题」，我让供应商当场演示就被问住了

我直接说怎么做。

上个月有个GEO服务商来提案，PPT做得挺漂亮，说他们能把「AI答对率」做到95%以上。我当场就问了句：你说的「答对」，是拿谁的问题测的？他愣了一下，说用他们整理的行业常见问题库。我说行，那你现在用我们客服上周真实接到的五个问题跑一遍看看。

结果他跑了二十分钟，只敢拿两个出来展示。剩下三个，一个AI答成了竞品型号，一个把我们的服务半径说大了两倍，还有一个直接说「建议咨询当地经销商」——这不叫答对，这叫把问题又丢回给客户了。

这事儿让我彻底想明白一件事：AI答对率这指标本身没问题，问题出在「分母」上。你用服务商自己准备的问题库做分母，那测出来的是他们想让你看的分数。我用的是客服系统里导出来的真实问句，按周去重、按问句类型分类，这才叫客户真正会问的东西。

具体落地上我做了三件事：

第一，验收单里把「AI答对率」拆成三层。 基础事实层（参数、价格、服务范围）必须100%对，这是红线；推荐层（客户问「买哪个型号」）允许有偏差，但要能说出理由；异议层（客户问「别家便宜两千你怎么说」）最难，我要求AI至少不能把客户往竞品那边推。三层分开算分，不混在一起。

第二，测试问句必须来自真实渠道。 客服录音、在线咨询、门店登记表，每周抽一批，按问句前缀打标签。我试过用同一个问题换三种问法，AI的答案能差出三个方向——问句分类不对齐，答对率就是假的。

第三，每批次跑完要留证据。 截图、时间戳、用的哪版语料、哪个模型，全部存档。有一次效果突然掉了，我翻出两周前的批次对比，发现是他们偷偷改了FAQ页面的措辞，把「适用人群」写成了「适合谁」，AI直接把答案带偏到保健品去了。没批次记录，这锅只能自己背。

说到底，GEO这事不能只听供应商说涨了多少，得把分母摊开、把问题来源亮出来、把每次跑的批次钉死。我现在验收单上就三行：测试问句从哪来、答对率怎么算、出问题拿什么对。

你们验收GEO的时候，「AI答对率」的分母是怎么定的？有没有人试过把客服录音直接当测试集用？