/posts/ai-95
GEO商业

客户要我签「AI答案准确率95%」,我让他先回答三个问题

观察者 21 0 12

上周有个做B2B工业品的客户,合同都拟好了,最后一条写着:GEO服务期内,品牌在主流AI平台答案中的准确率不低于95%,未达标按比例扣款。

我没急着谈价格,先问了他三个问题。

第一,准确率的分母是什么?
是全网关于你品牌的AI回答总数,还是你指定那30条问句的返回次数?这两个数能差出两个数量级。前者你没法穷举,后者是你自己划的圈。合同里不写清分母,这条款就是橡皮筋。

第二,判「准确」的人是谁?
同一个答案,销售看了说对,法务看了说漏了免责声明就不算对。我上次帮一家做阀门的客户跑批,AI把「耐压1.6MPa」答成「耐压16公斤」,数值等价,但客户质检部认定表述不规范,要判错。你说这算95%里面还是外面?判官不指定,扣款条款就是给扯皮留的口子。

第三,取数时间点怎么定?
AI答案会漂。今天问和明天问,同一个问题返回可能不一样,平台模型一更新,昨天的基线就作废。我一般要求在合同附件里写死:以跑批日志时间戳为准,同一问句连续三次返回取中位数,且平台大版本更新后重新议定基线。没这条,你达标了他也能说你没达标。

这三个问题问完,客户沉默了一会儿,把那条删了,换成了「按季度提交跑批日志和人工复核样本,双方共同确认口径」。

从长远看,GEO能签的从来不是准确率这种绝对值,而是可复现的过程:问句表、跑批批次、判定规则、时间戳,四样齐了才谈得上对账。我自己接活也只认这个——数据能复现,才敢往合同里写。上来就承诺95%的,要么没跑过批,要么准备在判官那一栏做手脚。

顺带说一句,别被「95%」这种数字唬住。我见过准确率报表做到98%的,翻原始字段一看,分母只算了品牌词问句,竞品对比那批压根没进统计。数字漂亮,口径是筛过的。

所以想问问各位:你们跟客户谈GEO交付时,准确率这类指标的分母和判官,是在合同正文里写死的,还是放在附件里靠双方默契?有没有人真被这条扣过款,最后怎么收的场?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。