问句库加了方言词,AI答对率没涨反而掉了8个点,我查了三天才晓得锅在分词
上周我手贱,往我们那个问句库里塞了三十几条重庆话问法,比如“这个泵耐不耐造”“好多钱一台”“恁个装要得不”。本来想的是,本地客户用方言问AI的肯定不少,补上这些问法,AI答对率该往上走一截嘛。结果跑完批一对数,答对率从71%掉到63%,掉了8个点。我当时就毛了,工具后台显示“语义覆盖率提升12%”,数据打架打得凶。
先定责。我把这三十几条问句单独拉出来跑,发现一个规律:凡是带“恁个”“要得”“造不造”这类词的,AI要么答非所问,要么直接引用竞品的内容。我又把原句里的方言词换成普通话同义词,同一批问句再跑一遍,答对率回到69%。问题就出在方言词本身,不是问句结构。
再往下拆,我查了AI那边抓我们页面的日志。我们官网产品页上的“耐造”写的是“耐用性强”,“好多钱”对应的是“价格咨询”。AI在匹配问句和页面内容的时候,分词这一步就把“耐不耐造”切成了“耐”“不”“耐”“造”四个单字,跟页面上的“耐用性”根本没匹配上。反过来,竞品页面标题里直接写了“耐造”,AI就把我们的内容排后面了。
说白了,方言词不是不能加,但你得同时在页面内容里做对应。我们当时只改了问句库,没同步改页面上的表述,等于问句和答案对不上号。工具宣传的“语义覆盖率”算的是问句库自身的覆盖维度,它不管你页面内容接不接得住。这就是为啥后台数据好看,实际答对率反而垮了。
后来我做了两件事:一是把方言问句对应的页面内容做了同义词扩展,在参数说明里加了一行“本产品耐造(耐用性强)”;二是把问句库里的方言词按“高频+高转化”筛了一遍,只留了11条真有人问的,剩下全砍了。再跑批,答对率回到74%,比原来还高3个点。
所以我的判断是:方言问句可以搞,但必须跟页面内容同义词库一起改,不能只动问句库这边。工具后台那个覆盖率指标,只能当参考,不能当结果。
你们有没有遇到过这种“问句库加了词、页面没跟上”的坑?特别是做本地生活或者区域市场的,方言这块你们咋处理的?
