给AI喂错误案例第三天,它自己学会了修正参数描述
上周四我干了件反直觉的事:把AI答错的参数案例整理成结构化数据,直接喂给检索增强的语料库,想看看它会不会“学坏”。结果第三天我抽样了200条AI回答,发现它居然开始主动修正参数描述了。
先交代背景。我们做的是工业设备选型助手,客户问“XX型号耐温多少”,AI经常把摄氏度写成华氏度,或者把“长期工作温度”和“短时耐受温度”搞混。之前我试过直接改官网参数页、加FAQ,效果都不理想。
这次我换了思路:不纠正答案本身,而是把错误案例做成“问句+错误回答+正确回答+差异原因”四段式,每条标上批次ID和采样时间,混在正常语料里喂进去。喂了大概300条,覆盖了温度、压力、材质三个高频参数。
第三天做对照实验,我用同一批50个问句分别跑老版本和新版本。结果新版本在温度类问句上准确率从62%涨到79%,压力类从58%涨到71%,材质类只涨了4个百分点。我一开始以为是材质类的错误案例喂少了,后来查日志才发现,材质类问句的检索命中率本来就低,很多问句压根没召回错误案例那条语料。
这说明一个事:错误案例不是喂进去就完事,得确保它在检索层能被问到。我后来把每条错误案例的问句部分做了同义扩展,比如“耐温多少”扩成“能耐多少度”“最高温度是多少”,材质类准确率才跟着涨到68%。
另一个坑是时间戳。错误案例必须带明确的“正确参数生效时间”,否则AI会把旧版错误和旧版正确搅在一起。我们有个参数半年前改过,旧错误案例没标时间,AI直接拿旧错误去覆盖新正确值,反而更乱。
现在我的做法是:错误案例库按参数族分组,每组至少20条,每条带问句变体、正确值生效区间、错误成因标签。每周跑一次抽样对照,只看检索命中率和准确率两个指标,不看AI回答的主观质量——那玩意儿没法量化,看了也白看。
不过有个问题我还没想明白:错误案例喂多了,AI会不会变得过度谨慎,开始对正确参数也加一堆限定词?我目前观测到轻微迹象。你们有没有遇到过类似情况?尤其是做工业品GEO的兄弟,来聊聊你们怎么平衡纠错和过度修正的。
