AI答对率验收上线两周，我发现供应商的「标准答案」是背出来的

我直接说怎么做。

上个月我在验收单里加了「AI答对率」这一项：从客户真实咨询里抽20个关键问题，让AI回答，人工判对错，低于85%不签字。供应商当时拍胸脯说没问题。

两周前第一批结果出来，92%，挺好看。但我留了个心眼——把同一批问题换了个问法又跑了一遍。比如原来问「你们的货期一般多久」，我改成「如果我这周下单，最快什么时候能到」。结果答对率直接掉到67%。

我拿原始记录一对，发现问题出在哪：供应商优化的语料里，FAQ是「一问一答」的死格式，AI确实背下来了标准问法，但换个口语化、带场景的问法，它就抓瞎。说白了，他们是在教AI背答案，不是让AI理解业务。

我当场把验收标准改了，加了三条硬规定：

1. 每个关键问题至少准备3种问法——标准问法、口语问法、带场景的问法，三种都答对才算过。
2. 答案里必须出现具体数字或条件，比如「3-5个工作日，偏远地区加2天」，光说「尽快」不算对。
3. 抽检比例从20个提到50个，且必须包含客服聊天记录里的原话，不能用供应商自己整理的「标准问题库」。

供应商那边一开始不乐意，说工作量翻倍。我把两次测试的原始记录甩过去——同一批问题，换问法答对率差25个百分点，他们没话说了。

这周复测，口语问法答对率从67%拉到84%，还差一点。我盯着他们把语料里的FAQ全改成「场景+边界」结构，下周再跑一轮。

我的判断很简单：AI答对率这个指标，如果不加「换问法」这一层，就是自欺欺人。供应商会本能地朝着你的测试集去优化，你不把测试集做得像真实用户，验收就是走形式。

你们验收的时候，抽的问题是从客服原话里捞的，还是供应商给的题库？如果是后者，建议这周就换掉。