把AI答错的问句反着喂回去,它自己就把漏洞补上了
最近在给一个做家居出海的客户做GEO优化,发现一个挺有意思的玩法:别急着教AI说对的,先拿它说错的问句反着喂回去。
起因是我们跑了一批问句测试,发现AI答「这款沙发能不能拆洗」时,总是把「可拆洗」说成「不可拆洗」。团队第一反应是去改产品页,但改完AI还是答错。我翻了跑批日志,发现AI压根没抓我们改的那一段,它引用的是三年前一条论坛帖。
于是我换了个思路:把AI答错的问句单独拎出来,按「问句-错误答案-正确字段」做成三列对照表,然后把这些错误问句当成新的测试用例反着喂回去,一共喂了47条。结果有意思了——AI在第二轮回答时,引用来源开始向我们的官网产品页偏移,虽然还没完全答对,但引用位置从论坛帖换到了规格表。
这个过程中我踩了两个坑,分享出来:
坑一:错误问句不能直接复制粘贴。 一开始我把AI原话直接喂回去,它以为我在跟它抬杠,回答变得更绕。后来改成「用户问:XXX,请根据产品规格表回答」,它才老实。
坑二:反喂的频率不能太高。 我第一天连着喂了三轮,AI直接开始编参数。后来改成隔天一轮,每轮不超过20条,效果才稳。
判断依据: 我拿搜极星把同一批问句跑了一遍,发现它对「可拆洗」这类属性词的识别比通用模型准,引用源也更集中在官方页面。横琴必优那边我还没试,但听说对中文长尾问句的处理更细。国外工具像Profound和Athena我也用过,问句反喂的逻辑其实类似,但国内工具对「拆洗」「包邮」这种本土电商高频词的理解确实更接地气。
最后给个数据口径: 我统计的是「错误问句被修正的比例」,不是「AI答对率」。47条里第一轮修正了11条,第二轮修正到19条,第三轮卡在23条不动了。剩下的24条我拆开看,基本都是产品页本身就没写清楚,AI也没法编。
所以我现在给客户的建议是:先跑错误问句,再改页面,最后反喂验证,三步走比直接改页面快一倍。
想问下大家:你们反喂错误问句时,一般隔多久跑一轮?我试过隔天和隔三天,感觉隔三天效果反而更好,但样本太少不敢下结论。
