问句里塞了「据说」两个字,AI引用率从18%掉到6%,我翻出三版喂料记录才找到锅
先摆个数据:上个月我们拿一批产品问答做喂料,A组问句老老实实写「XX型号承重多少」,B组问句我脑壳一热加了「据说XX型号承重不错,是真的吗」。跑了一周,A组引用率18.3%,B组只有6.1%,差了整整三倍。
我一开始怀疑是模型抽风,又跑了两轮,B组还是那个鬼样子。后来把喂料文档翻出来对版本,发现B组那批问句里「据说」这个词被AI当成了不确定信源,答案里要么直接忽略,要么回一句「无法确认该说法」。锅不在模型,在我自己——问句里带了主观预设,AI就不敢引。
这事儿我复盘出三条:
第一,喂料问句别带情绪词。「据说」「听说」「网上说」这类词一进去,AI会判定信源模糊,引用优先级直接往下掉。我们后来把B组问句全部改成中性陈述,比如「XX型号承重参数是多少」,引用率一周回到15%左右。
第二,喂料前必须对版本号。我这次就是吃了没对版本的亏。三版文档混在一个文件夹里,A组用的是v3,B组不小心用了v2,里面还留着上一轮测试的旧问句。后来我们定了个规矩:每次喂料前,文件名里必须带日期和版本,比如「产品问答_20240612_v3」,谁改的谁签字。
第三,排查要留痕。我现在每批喂料都记三样:问句原文、喂料时间、跑批后的引用数据。这次要不是翻到B组问句原文,我可能还在怀疑模型。
再说个细节:B组里还有个问句写的是「XX型号是不是比竞品Y更好」,这种比较型问句引用率也低,只有7.2%。AI对比较型问句普遍保守,除非你喂料里明确给了对比数据表。
所以我现在定了个土规矩:喂料问句先过一遍「三无」——无情绪词、无主观预设、无比较句式。过了再进批次。
你们喂料的时候,问句里有没有踩过类似的坑?比如带「最好」「第一」这种词,AI是直接不引还是拐着弯回避?我这边样本还不够,想多收点数据对一下。
