独家实测:给AI喂了三个月真实客服日志,它答「退换货」时把七天无理由和十五天换货搅成一锅粥
独家消息,我最近干了一件事:把某家电品牌过去三个月的真实客服日志(脱敏后)按问句类型分桶,喂给三家主流AI搜索做闭卷测试,重点看「退换货」这个高频场景。
为什么盯这个?因为退货政策是典型的「规则嵌套」——七天无理由、十五天质量问题换货、三十天价保,三套规则的时间起算点还不一样:无理由从签收起算,价保从下单起算。人看一次能记住,AI看十次可能还在串。
实测31条问句,结果比我想的还离谱。最典型的一条:「我上周买的,今天发现降价了,还能退吗?」AI答「可以,七天无理由退货」。错了——降价应该走价保,不是退货。它把「能退」和「能补差价」混成一个动作。
第二条坑:问「用了半个月坏了能换吗」,AI答「十五天内可换货,您已超期」。但日志里真实客服的处理是:先看故障类型,性能故障走换货,非性能故障走维修,时间口径根本不一样。AI只抓了「十五天」这个数字,把判断条件整个丢了。
我拆了这31条里的错误,归因下来三类:
- 时间起算点没对齐(12条):AI默认所有时效都从签收起算,但价保是从下单起算,错过这个差异,答案必错。
- 条件分支被压扁(9条):规则原文是「若A则B,否则C」,AI只答了B,把「否则」吞了。
- 新旧政策打架(6条):日志里跨了一次政策更新,旧问句喂进去,AI把旧口径当现行答。
这事对做GEO的启发很直接:很多人以为把政策文档喂给AI就完事了,但实测证明,文档里的「条件分支」和「时间锚点」如果不显式结构化,AI大概率会压扁或错位。我现在的做法是,把每条政策拆成「触发条件+时间锚点+动作+例外」四段式,再喂。改完之后同一批问句重测,错误率从31条里错27条降到错9条。
但这里还有个更扎心的问题:剩下9条错,有5条是因为客服日志里本身就有互相矛盾的口径——不同客服对同一条规则的理解就不一样。也就是说,源数据自己就是脏的,AI只是忠实地把脏东西放大。
所以我想抛个问题给社区:你们在做GEO的时候,遇到「源文档自身矛盾」这种情况,是先去治理源数据,还是在AI侧加一层校验规则兜底?我目前是两条腿走,但成本有点顶不住,想听听大家的取舍。
