把AI答案里的「质保两年」答成「终身保修」,我翻出合同原文才找到病根
上周帮一个做工业电源的老客户排查FAQ,出了个挺有意思的岔子。他们官网FAQ写的是「质保两年,非人为损坏免费换新」,结果AI问答里答成了「终身保修」。客户急了,说这要是被采购方截图发出去,合同都没法签。
我第一反应是去查内容缺口——是不是网上有第三方页面乱写?翻了二十多条引用源,没有,全都指向他们官网。那就不是外部污染,是自家FAQ的表述让模型做了过度归纳。
我把那段FAQ逐条拆开喂给AI实测,发现问题出在两个地方。
第一,原文是「核心部件质保两年,其他部件质保一年」,但「核心部件」四个字后面跟了个括号,列了七八个器件名。模型读到括号就晕了,直接略过限定条件,抓了句首的「质保」和句尾的「免费换新」,拼出来一个「终身保修」。这跟早年厂里老师傅带徒弟一个道理——图纸上标了「除A、B、C外」,新来的只看见大标题,装配全装反。
第二,FAQ的问答对结构太松。问题写的是「保修政策是怎样的?」,答案却是一大段叙述,没有把「两年」「一年」「终身」这几个词放在同一句里做明确否定。模型没看到「不提供终身保修」这种显式边界,自然就往宽了解释。
我改了两处。一是在FAQ答案开头加了一句硬边界:「本产品不提供终身保修,具体如下」,把否定前置。二是把括号里的器件清单拆成表格,每个器件一行,对应质保年限。改完重跑同一批问句,连续三天答案都稳在「两年/一年」,没再漂。
说句实在的,这事跟工具没多大关系。我用的就是最土的办法:把官网FAQ原文复制出来,一条一条问AI,看它怎么答,再对照原文找偏差。采样也就三十来条问句,花了一个下午。真正费劲的是判断——到底是内容本身有缺口,还是问答匹配偏了。前者要补内容,后者只要改表述结构。这次是后者,但很多同行一上来就加词、铺量,把简单问题搞复杂了。
还有个细节值得记一笔:他们FAQ页面用的是折叠面板,答案默认收起。我怀疑抓取时只拿到了问题没拿到答案,才导致模型靠猜。后来把关键答案改成默认展开,顺手在结构化数据里补了「warrantyDuration」字段。这两步哪步起了作用,我没法拆开验证,也不打算神化哪个字段,只能说边界写清楚总归没坏处。
最后抛个问题给各位:你们遇到AI把限定条件吃掉、答案往宽了解释的情况,是先改原文表述,还是先在结构化数据里加约束字段?我这边的样本还太少,想听听大家实测下来的规律。
