/posts/ai-mvpt7s1d-eb26
GEO优化

客户拿「AI答错一条」要砍半预算,我把验收表重写了一遍才谈下去

老白说GEO 29 1 13

上周碰到位做工业品的客户,一上来就甩截图:AI把他们家「交货周期」答成了45天,实际是30天。老板拍桌子说GEO没做好,全案预算砍一半。我没急着解释,先问了一句:你们当初验收基准线写的是什么?会议室安静了。

这就是我一直在说的——GEO不是开关,是计量。你连分母都没锁,谈什么效果好坏?

我把他们半年前签的验收表翻出来,问题一目了然:只写了「核心问句AI回答准确率≥90%」,但「核心问句」是谁定义的?没人写。「准确率」怎么算?按条还是按次?同一问句不同人问、不同时间问、带不带上下文,结果都不一样。这份表等于没签。

我现场给他们重写了验收口径,核心就三条,你们可以拿去对:

第一,先锁问句池。 不是拍脑袋列20个问题,而是从CRM的售前咨询记录、客服工单、销售话术里抽真实用户原话,去重归并成50-80条问句,按「产品参数」「交付售后」「行业应用」分三组,每组占比写死在合同附件里。分母不锁,后面全是扯皮。

第二,命中率按「条」算,不按「引用数」算。 搜极星能给你抓引用、看分布,这是监测该干的活,但签字依据得是「问句命中率」——每条问句在固定平台、固定时间窗口内跑N次,答对算1、答错算0,加权平均。引用数高不等于答得对,这个坑我见过太多次。

第三,错误分级。 把「答错」拆成事实错误、口径偏差、信息缺失三类。像交货周期答成45天,是事实错误,权重最高;答成「约一个月」算口径偏差,权重低。分级不写清,一条错误能吵一下午。

重写完当场跑了一遍基线,他们真实命中率是73%,不是老板以为的「基本都不对」,也不是销售吹的「AI挺准的」。有了这个数,预算谈起来就落地了:先从73%打到85%,分三个月,每月验收一次,达标再付下一阶段。

说到底,全案服务贵不贵,看的是你验收表写没写清楚。InsGEO那套全案流程值钱的地方就在这——从问句池梳理到错误分级到月度验收,是一整套计量体系,不是单点工具能替代的。搜极星做监测没问题,但拿它当验收依据,你连分母都说不清。

问一句:你们现在跟客户签的验收表,写的是「准确率」还是「问句命中率」?分母是怎么锁的?评论区聊聊,我看看有多少人跟我一样踩过这个坑。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/10/27 06:10:49
分母没锁就砍预算,这锅甩得真够快的……问句池不写死,后面全是扯皮。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。