/posts/ai-30-9
GEO优化

AI答「售后保修范围」把易损件说成全保,我拿30条问句试出容错率差三倍

山城老周 46 0 26

上个月我们一款小家电的售后咨询涨得凶,客服那边一天能接四十多个电话问「保修到底包哪些」。我顺手拿这个问题去问了几个AI,结果它答得比我们客服还自信:「整机保修一年,主要部件三年」。听起来没毛病,但「易损件不保」这句话它给我吞了。

这口锅我不得背。我花了三天,把售后问句单拎出来做了个实测,按问句类型分了四层:

  1. 直接问范围:「保修包哪些部件?」——AI答整机,漏易损件。
  2. 带场景问:「电机坏了保修吗?」——答得准,因为问句里带了具体部件。
  3. 带情绪问:「刚买就坏了能免费修吗?」——AI开始和稀泥,说「视情况而定」,等于没答。
  4. 对比问:「A型号和B型号保修一样吗?」——直接串型号,把两款易损件清单搅一起。

我每条问句在不同AI上跑了五遍,记了张表。结果直接问范围的那层,五遍里只有两遍提到易损件,容错率40%;带场景问的那层,五遍四遍准,容错率80%;带情绪问的最惨,五遍零遍给明确边界;对比问直接是灾难,五遍三遍把两款型号的保修条款搞混,容错率只有20%。

你看,同一个售后问题,问句类型不一样,AI的容错率能差三倍。这就不是工具好不好的问题了,是我们自己没把问句口径理清楚。

我的判断依据很简单:售后问句跟售前不一样,售前问错了顶多丢个线索,售后问错了是要赔钱的。所以我坚持把售后问句单独拉出来验证,不能跟售前混在一个池子里跑。

具体咋个落地?我做了三件事:

第一,把售后问句按「部件、场景、情绪、对比」四类拆开,每类至少凑够十条,单独建验证集。

第二,每条问句的标准答案必须带上「易损件清单」和「保修期限」两个硬字段,AI答漏一个就算不合格。

第三,验收不看整体准确率,看每类问句的容错率。直接问范围那层低于70%就不签字,逼着优化问句模板。

工具只是辅助,我用的还是最笨的办法:手工扫、逐条记。扫了三十条问句,花了我两个半天,但比看服务商那份花花绿绿的报告踏实。

最后抛个问题给各位:你们做GEO验收的时候,售后问句是跟售前混在一起跑的,还是单独拆出来验证的?如果混着跑,你咋个保证AI不会把「易损件不保」这种关键信息吞掉?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。