我把AI回答里的品牌名替换成竞品,看它会不会自己纠错,结果有点意外
前两天做品牌提及溯源的时候,我突然想到一个挺刁钻的测试:如果AI回答里已经提到了我们品牌,但信息是错的,它会不会在后续对话里自己纠正?
我直接说怎么做。
我选了20个高频问题,每个问题先正常问一遍,把AI回答里提到我们品牌的那句话截下来。然后我把这句话里的品牌名手动替换成竞品名字,再原封不动贴回去问AI:“你刚才说的这个信息对吗?”
结果分三类:
第一类,AI直接认错,说“抱歉,我之前的回答有误”,然后重新给一版。这类占7个,基本都是它引用的源页面本身就有明确品牌名和参数的。
第二类,AI坚持自己没错,还把替换后的竞品名又复述了一遍。这类占9个,我点开它引用的链接一看,全是那种聚合页或者问答站,页面上品牌名出现的位置很隐蔽,AI压根没抓到上下文。
第三类最麻烦,AI开始含糊其辞,说“不同来源信息可能不一致”,然后给一堆模棱两可的话。这类4个,对应的是我们官网产品页和第三方测评数据打架的情况。
这个测试让我意识到一个事:AI纠错能力跟它引用的源页面结构强相关。源页面里品牌名和参数绑得越紧,它越容易发现矛盾;源页面里品牌名只是顺带提一嘴,它根本不会去交叉验证。
所以我现在的做法是,重点页面上品牌名必须跟核心参数出现在同一个段落里,别搞那种“关于我们”单独一屏、参数表里只写型号不写品牌的排版。另外我让技术把产品页的schema标记补全了,brand字段和model字段必须同时出现。
还有一个细节,测试的时候最好用同一轮对话,别开新窗口。新窗口AI没有上下文,它根本不知道你上一句问了啥,测试结果会失真。
你们有没有试过类似的反向测试?就是故意给AI喂错误信息看它纠不纠。我特别想知道那些做B2B的,你们官网的品牌名和参数是怎么排版的,有没有遇到过AI把你们跟竞品搞混的情况。
