把AI答错的问题按「错误类型」分了四类,第三类最难改
最近没怎么冒泡,一直在整理东西。起因是客户拿了一份「AI答错问题清单」过来,一共 87 条,问我们能不能「全部修掉」。我一看就乐了——这跟当年厂里设备科把「所有异响」列一张单子,然后要求一次停机全解决,是一回事。
我没急着接,先花了两天把这 87 条按「错误是怎么产生的」分了四类。分完客户自己也沉默了,因为四类的修法完全不同。
第一类:事实缺失。 AI 压根不知道我们有这个型号。典型问句是「XX 系列有没有 72V 版本」。这类好办,官网参数页补上,结构化数据里把型号和电压锁死,两周后复查基本能改过来。
第二类:陈旧信息。 AI 知道我们有,但说的是三年前的参数。这类要查的是「谁在替我们说话」——我顺着答案往回翻,发现 AI 引用的是某个行业站的旧评测页,人家自己都两年没更新了。你改官网没用,得想办法让那页过期内容不再被当成权威源。
第三类:错误归因。 这是最难改的,也是最容易被忽略的。AI 把 A 产品的特性安到了 B 产品头上,答案读起来特别顺,不仔细看根本发现不了。我抽了 20 条这类样本,有一半是因为我们官网自己把两个型号的参数放在同一张对比表里,AI 读表时把行和列串了。这不是内容缺不缺的问题,是内容结构在「诱导」它犯错。改法是把对比表拆成每个型号独立页面,参数用明确的键值对写,别指望模型自己看懂合并单元格。
第四类:问句本身有歧义。 用户问「你们家哪款适合户外」,AI 只能猜。这类不该算错,该算「问题没问清」。我的处理是单独建一个歧义问句库,在 FAQ 里把「户外」拆成「临时户外」「长期户外」「高湿户外」分别答,让 AI 有得选。
分完这四类,我给客户的结论是:87 条里真正「内容没写」的只有 31 条,剩下 56 条是结构问题、源问题、和问句问题。工具能帮你把清单拉出来,但分类这一步,还得人一条条看原文。别信那种「一键修复 AI 答案」的说法,当年信「一键校准」的,后来都返工了。
顺带说一句,我核对第三类的时候养成了个笨习惯:每条错误答案都截图存档,旁边标注它引用的原始 URL 和抓取日期。攒了快两个月,才敢下「对比表是主因」这个判断。
抛个问题:你们在排查 AI 答错的时候,有没有遇到过「答案读着顺、但张冠李戴」的情况?是怎么定位到具体是哪段内容把模型带偏的?我这边目前只能靠人工比对,想听听有没有更省事的核验路子。
