问句库里塞了方言词，AI答对率反降8个点，查三天发现是分词惹的祸

前阵子我图省事，往问句库里加了一批重庆方言词，比如“巴适”“啷个”“嘿好”，想着本地客户搜的时候更接地气。结果跑了一周数据，AI答对率不升反降，掉了8个点。我当时就毛了，哪个环节出的拐？

先拆锅。把新增方言词的问句单独拉出来跑，发现十句里有六句AI理解偏了。比如“这个阀门啷个调”，AI给的回的是“阀门调节步骤”，听起来没毛病，但客户问的是“啷个调”的“调”是调试还是调节？AI没分清。再比如“这个型号巴适不”，AI直接理解成“这个型号是否合适”，但客户其实在问“这个型号在本地工况下耐不耐用”。

我让技术把分词日志翻出来一看，问题出在分词上。“啷个”被切成了“啷”和“个”，AI把“个”当量词，整句语义就散了。方言词在通用分词器里没词库，切得稀碎。

后来我做了三件事：一是把方言词全部从问句库撤了，换成标准书面语，答对率回到原水平；二是单独建了个方言映射表，把“啷个”映射到“如何”，“巴适”映射到“适合/耐用”，只在预处理层做转换，不进原始问句；三是把分词器加了个自定义词典，把常见方言词硬塞进去，再跑测试，答对率比原来还高了3个点。

这事给我提了个醒：GEO落地不是堆词，是让AI准确理解客户咋个问。方言词看着亲切，但分词器不认，就是给自己挖坑。工具宣传说“支持方言”，你得自己拿真实问句去验，别信后台那个“语义理解准确率98%”的鬼话。

你们问句库里有没有加过方言或者行业黑话？加完之后答对率是升是降？我这边降了8个点才摸到门道，想听听你们咋处理的。