试点验收只盯「AI答对没」，我加了一栏「答完客户干了啥」才看出门道

上周跟服务商过试点验收单，对方递上来的口径是「AI回答准确率 92%」，看着挺漂亮。我没急着签字，让他把「准确」的定义写清楚：是关键词命中，还是语义一致，还是客户看完没再追问？他愣了几秒，说按关键词算的。我心里就有数了——这种口径我们十年前做官网改版时就吃过亏，PV 涨了三倍，询盘一个没多。

这回我换了个笨办法，让客服在试点期间多记一栏。原来只记「AI答对没」，现在每条会话后面加一句「答完之后客户干了啥」：是直接关窗了，是转人工问价，还是回头又搜了一遍同义词。别小看这一栏，两周记下来两百多条，能看出三类情况。

第一类，AI 答得挺准，客户看完就关窗。这类占比不小，我一开始也纳闷，后来翻记录才明白，问的是「你们做不做定制」这种是非题，AI 答「做」，客户拿到答案就走，根本没往报价那步走。这种「准确」对我们没商业价值，属于白答。

第二类，AI 答完客户马上转人工，而且转过去第一句往往是「那多少钱」。这类才是真有需求的，虽然 AI 没直接成交，但把客户推到了该去的地方。我让客服把这些转人工的会话单独标出来，按周看趋势，比看「准确率」踏实。

第三类最坑，AI 答完客户又换个说法重搜一遍。这说明 AI 给的答案没接住他的真实问题，要么口径偏了，要么答得太官方。这类我挑了几条出来，对着原始问句改喂料，改完再跑一周，重搜率确实下来了。

所以我的判断是：试点验收别只写「答对率」，至少得拆成三段——答得对不对、答完客户往哪走、有没有回头重搜。第一段是技术口径，后两段才是生意口径。我们这次试点规模很小，就一个产品线、两个渠道，投入控制在五位数以内，说白了就是花小钱买个口径，跑明白了再谈扩不扩。

风险也说一句：这一栏是人工记的，客服忙起来容易漏，样本量也撑不起统计显著性，只能看趋势不能下结论。所以我坚持先小范围试，别一上来就全站铺，铺开了数据一脏，连趋势都看不出来。

想问下各位，你们试点验收时，「答完客户干了啥」这一栏是怎么记的？是靠客服手记，还是埋点看后续行为？有没有更省人力的办法？