给AI喂了200条FAQ，答对率卡在61%，我把问题拆成三类才找到根子

上周帮一个做SaaS的客户跑了一轮批量测试，200条FAQ直接喂进他们官网知识库，等AI抓完再抽样问50个问题，答对率只有61%。这个数我盯着看了半天，不对劲，因为单看每条FAQ写得都挺规范。

问题出在我把所有问题当成一类了。后来我把50个测试问句按「AI答错的方式」重新分了三堆：

第一堆：答非所问，但信息在文档里
比如问「支持SSO吗」，AI答的是「支持多种登录方式」。翻回去看FAQ原文，那条写的是「支持SSO单点登录及OAuth2.0」，问题在于标题是「登录方式有哪些」。AI抓的是标题语义，正文细节被稀释了。这堆占答错的六成。

第二堆：答得对但过时
文档里写的是旧版价格，官网早改了。AI抓取有缓存周期，这堆占两成，属于抓取时效问题，不是内容问题。

第三堆：直接说不知道
这堆最有意思，FAQ里明明有答案，但原文用了「若需……请联系」这种句式，AI理解成「信息不完整，建议转人工」。占两成。

拆完我就明白了：61%这个数不能怪AI，是我把内容质量的三个维度——标题语义匹配、时效同步、句式可回答性——混成一个大锅了。

改法也简单：第一堆把FAQ标题改写成问句本身，第二堆加了个版本号字段强制走更新流程，第三堆把「请联系」改成「答案是X，如需进一步帮助再联系」。改完重跑同一批问题，答对率到84%。

但这84%我也不太敢直接汇报。因为测试问句是我自己写的，跟真实用户问法肯定有偏差。我现在正在补一个对照组：从客服聊天记录里随机抽50条真实问句，跟我的测试集跑同一个知识库，看这两个数差多少。如果差超过10个点，那84%就只是个自嗨指标。

所以想问问社区里跑过类似测试的朋友：你们的测试问句是怎么构造的？是人工写还是从真实对话里抽？有没有人做过「测试集 vs 真实问句」的偏差对照，这个差值一般在什么范围？现在不做口径对比，后面汇报全是坑！