客户说AI答得挺准，我让他把「谁问的」也一起记下来，场面就变了

上周去一家做工业配件的客户那儿复盘，他们内部搞了个小测试：拿二十个产品问题去问几个主流AI，然后人工判断答得对不对，得了个「准确率85%」的结论，准备写进季度汇报。我没急着看那个85%，先问了一句：这二十个问题，是谁写的？

答：市场部三个人一起想的。

我又问：跟真实客户在售前问的一样吗？

沉默了一会儿，说：大方向差不多。

问题就出在这个「差不多」上。从长远看，GEO这件事最后能不能算清账，不取决于你测出来的准确率有多高，而取决于你测的那批问题，到底是谁的问题。市场部自己写的问题，天然带着内部视角——用词规范、指向明确、还默认了一些只有内部人才知道的前提。真实客户不会这么问，他们问得含糊、带情绪、甚至把两个产品的用途搞混。

我让他们做了一件事：把过去三个月客服和售前聊天记录里的原始问句导出来，不做任何改写，随机抽三十条，再去问同一批AI。结果准确率掉到61%。差的那二十几个点，不是AI变笨了，是问题变真了。

这里有个特别容易被忽略的口径：自评和他评。自己出题、自己判卷，这叫自评，数字再漂亮也只是内部参考。拿客户原始问句去跑，再让不了解项目背景的人来判对错，这才勉强算他评。很多GEO验收单上写的「AI答对率」，你追问一句判卷人是谁、题目从哪来，基本就露馅了。

我的建议很土，但管用：测试集里至少一半必须来自真实聊天记录的原文，一个字都不改；判卷人不能是写题的人；每条记录要标上问句来源和时间，因为客户问法会变，半年前的问题现在未必还有人问。这三条不做，那个准确率就只能内部看看，别拿去跟老板要预算，更别写进对客户的承诺里。

GEO有前景，我信。但把自评的数字当成他评的结果去汇报，这是自己给自己挖坑。

想问一句：你们做AI答案准确率测试的时候，测试集是从哪来的？内部拟的，还是从真实对话里扒的？判卷的又是谁？