/posts/ai-47-7-15
GEO优化

把AI答「能不能退」的47条测试逐字拆开,我发现它把「7天无理由」偷换成了「15天」

数据女侠 38 0 17

上周我把退换货问句单独拎出来做了个测试,47条,覆盖「能不能退」「多久能退」「拆封了能退吗」三种问法。结果让我有点坐不住:AI在「多久能退」这类问句里,有11条答的是「15天」,而我们官方口径写的是「7天无理由」。

我先钉分母:这47条问句是从客服后台近三个月真实会话里抽的,不是我自己编的。每条问句对应我们同一个SKU的详情页,页面里白纸黑字写着「7天无理由退换」。按说AI抓页面不该抓错。

拆开看才发现问题不在「7」这个数字,而在句子结构。我们页面写的是「签收后7天内可无理由退换,拆封不影响」。AI答「15天」的那11条,我把答案原文逐字比对,发现它把「签收后」这个时间锚点丢了,直接把行业里常见的「15天」默认值套了进来。换句话说,它不是在读我们的页面,是在拿训练语料里的常识补位。

更有意思的是「拆封了能退吗」这组。16条问句里,AI有9条答「建议咨询客服」,只有3条明确说「拆封不影响」。可我们页面里那句「拆封不影响」就写在7天后面,位置并不隐蔽。我拿页面原文去问另一个模型,它倒是答对了。所以这不是内容缺失,是不同模型对同一段话的抽取优先级不一样。

我的判断是:退换货这种强规则字段,光把话写清楚不够,得把「时间锚点+条件+例外」拆成独立字段。我试了一版,把「签收后7天」「拆封不影响」「非质量问题运费自理」三条拆成三个独立段落,每段前面加小标题,再重跑那47条。答「15天」的从11条降到2条,「建议咨询客服」的从9条降到4条。

但还没完。剩下那2条答「15天」的,我查了对应页面,发现是同一批老SKU,详情页压根没改,还是旧模板。所以这事的根子不在一处:内容结构要改,老页面也得同步。

我现在比较较真的是:退换货政策的「测试集」到底该怎么定?是按问句类型分,还是按SKU分?我这47条是按问句分的,但老SKU那2条漏网说明按SKU分层可能更稳。你们做这类规则字段测试时,分母是怎么切的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。