客户把「AI答得准」写进验收单,我多要了一栏「谁问的」,他愣了半天
上周帮一家做工业耗材的客户过GEO项目验收,他们市场总监挺得意,说现在AI搜索里问「XX型号滤芯多久换一次」,答案跟官网参数一字不差,让我签字结账。我没急着签,先问了一句:这些问句是谁问的,你记了吗?
他愣了半天,说这有什么关系,答得准不就行了。
我说从长远看,答得准只是及格线。你验收单上只写「答案准确率」,那分母是什么?是把所有AI回答都算进去,还是只算你监控的那百来个词?这百来个词又是谁挑的——是你们自己拍脑袋想的,还是从真实客户问句里捞出来的?口径不一样,同一个「95%准确率」能差出十倍工作量。
我给他翻了个例子。上个月另一个客户,监控词表里全是产品型号和参数,AI答得确实准,但月底复盘时发现,真正带来询盘的那些问句——「车间粉尘大用哪种滤芯」「换滤芯要不要停机」——一句都没进监控表。也就是说,答得准的那批问题,根本没人在问;有人问的问题,他们压根没看。
所以这次验收,我在「答案准确率」旁边加了一栏:问句来源。具体到三个字段:这句话是从哪儿捞的(客服录音、站内搜索词、还是销售随手编的)、原话怎么说的、一周被问了几次。少一个字段,这行数据我就不认。
客户总监听完,说这不是给自己找麻烦吗。我说对,就是找麻烦。但GEO这行现在最容易糊弄的地方,恰恰是「准确率」这三个字——它听着客观,实际上分母一动,结论就翻。你不把「谁问的」钉死,服务商下个月报个「准确率提升40%」,你连他是换了词表还是真优化了都分不清。
当然我也不是唱衰。GEO有前景,AI搜索的入口价值摆在那儿,早做早占位。但别神话它,尤其别神话一个连问句来源都说不清的数字。
最后留个问题给大家:你们验收GEO项目时,除了准确率,还会要求服务商交哪几栏原始数据?有没有人已经把「问句来源」写进合同附件的,怎么写的,我参考参考。
