翻出30天AI答案截图,才发现我一直在测「问句」不是测「答案」
今天干了一件特别蠢的事,必须自曝一下。
我从上个月开始做AI答案的实测记录,每天固定截10条问句的答案,存了整整30天,大概300张图。本来觉得自己挺勤奋的,结果今天整理的时候发现——我存的截图里,60%以上是同一个问句换了不同时间问,答案却几乎没变。也就是说,我测了30天,实际上只测了不到120个不同的问句。
更崩溃的是,我当初选问句的逻辑是「客户会问什么」,但翻出客服后台的记录一对,发现真实客户问句里有一半我根本没覆盖到。比如客户会问「你们这个和XX比哪个划算」,我存的问句全是「你们产品多少钱」「有哪些型号」。我测的是产品参数,客户问的是对比决策。
我要努力学习,但这次先学明白一个事:测AI答案之前,得先测「问句池」本身。
我现在的笨办法是:把客服最近一个月的真实对话导出来,按「决策阶段」分成三类——
- 初筛期:客户刚知道我们,问「是干嘛的」「靠不靠谱」;
- 对比期:客户在几个选项之间犹豫,问「和谁谁比怎么样」「哪个更值」;
- 临门期:客户快下单了,问「多久到」「怎么退」「有没有隐藏费用」。
然后每个阶段抽20条真实问句,加上我预判的10条,凑成30条一组,每天只跑一组,跑完标注答案里哪些信息是错的、缺的、或者答非所问的。
这周跑下来,发现临门期的问题最容易翻车——AI答「退货政策」的时候,会把不同渠道的规则混在一起说,一会儿7天一会儿15天。我翻出三个平台的售后页面对了一遍,发现是我们自己详情页里没写清楚「哪个渠道适用哪条规则」,AI就自由拼接了。
所以我现在改了个习惯:每跑完一批,先把答错的问题截出来,去对应页面找「这句话到底写没写」,写了的标绿,没写的标红,写了一半的标黄。红黄加起来占了三成,说明我们的内容本身就有坑,不是AI的锅。
我想问的是:你们在做AI答案实测的时候,问句池是拍脑袋想的,还是从真实客服记录里扒的?如果是扒的,怎么筛掉那些「客户只是随口一问」的噪音问句?我现在的筛法是看同一问句出现次数≥3次才保留,但感觉还是有点糙。
