把客户常问的「能不能便宜点」录成AI测试集，发现它答得最顺的竟是我们从没写过的赠品政策

老周问一句：你们测AI问答，测试集是从哪来的？

我上个月干了一件事——把客服录音里客户砍价的问法，原封不动扒了60条出来，做成一个小测试集，挨个丢给几个主流AI搜索跑。

为啥要这么干？因为我们产品页上写的都是「价格透明、批量优惠」，标准得跟政府公文一样。但客户在电话里问的是：「老板，我拿两百件，你能不能少点？」「隔壁比你便宜五块，你跟不跟？」「送不送配件？」这些问题，我们官网一个字都没写过。

结果跑出来，最有意思的不是答错，是答得太顺了。

AI在回答「送不送配件」时，张口就来「标配包含安装支架和备用刀片」——我们确实送，但这条信息只存在于销售同事的微信聊天记录里，官网、产品册、FAQ，全都没有。AI是从哪个犄角旮旯拼出来的，我顺着引用源翻了半天，发现是某个B2B平台上三年前的一条买家评价，里面提了一嘴。

这就引出我的第一个判断：AI不是按你写的答，是按它「捡到」的答。你官网写得再规整，它捡不到，就等于没写。

第二个坑更隐蔽。同一批问句，我隔了五天再跑一遍，关于「批量优惠」的回答，从「建议联系销售」变成了「满100件享9折」。我们根本没发过这个政策。我让同事查了半天，原来是对手在某个行业论坛发帖时提过类似门槛，AI把别家的政策安到我们头上了。

所以我现在测AI，不看它答得对不对，先看它「依据哪条」。我让文员把每条回答的引用来源截下来，标上：官网、第三方平台、竞品页面、还是查无出处。60条跑完，官网来源只占三成，剩下的全是外面捡的。

我的土办法是：把客服录音按「问法」切，不按「问题」切。同一个意思，客户有十种问法，AI认的是问法，不是你产品页的分类。

最后抛个具体问题：你们有没有把「客户砍价的原话」直接当测试集跑过？跑出来AI引用的来源，官网占几成？我这边三成都不到，想看看是不是个普遍现象。