客户让我签「AI答对率不低于85%」的验收条款,我坚持先加一句监测基准线
上周帮一个做工业配件的客户审GEO合同,对方服务商在附件里塞了一条验收标准:上线三个月后,AI在三十条核心问句上的答案准确率不低于85%。客户觉得挺合理,问我能不能签。我说先别签,掏出笔在这句后面加了一行:「准确率以双方在T0日共同封存的问句-答案快照为基准,快照内含时间戳、模型版本号、抓取IP段」——没有这行,85%就是个可以随时漂移的靶子。
这不是我较真,是吃过亏。去年有个客户签了类似条款,三个月到期服务商交了份报告说86.2%,达标。客户挺高兴,我让他把报告里的问句原样再跑一遍,结果同一批问句答对率掉到79%。为什么?因为服务商那个85%的「准确」口径里,把「答出品牌名+一个正确参数」就算过,而客户心里想的是「参数、交期、适用型号全对」。同一个问句,两套判分逻辑,差出七八个点太正常了。
所以我现在的习惯是,验收条款里凡是出现百分比,必须同时锁死四样东西:
一、基准快照的采集时点。 不能是「签约时」,得是「T0日双方在场跑完并签字封存」。时间戳精确到小时,因为AI答案会随模型迭代变,你拿三个月后的答案去对签约前的老快照,本身就是关公战秦琼。
二、判分口径写成人能复核的规则。 别写「准确率」,写清楚:答出A参数算0.5分,同时答出B交期再算0.5分,答错或答非所问记0。分项权重摊在明面上,服务商和客户各自能拿计算器复算,这才叫可验证。
三、分母固定。 三十条问句就是三十条,中途不许因为「这条问句不具代表性」而剔除。我见过服务商把答得差的问句以「语义重复」为由删掉,分母一缩,分子占比自然好看。
四、复核窗口。 约定交付报告后客户有权在七个工作日内用同一批问句、同一模型版本重跑一次,结果差异超过5个点就触发复谈。没这个窗口,报告就是一次性消费品。
从长远看,GEO有前景,但它的验收比传统SEO更难糊弄,因为它连「排名」这种相对客观的锚都没有。你只能把每个环节的统计口径钉死到可复算的程度,才谈得上认账。
顺带说一句,那个「85%答对率」KPI本身我也存疑——答对率高不等于生意好,我回访过的那批客户里,答对率漂亮但回款一般的不是少数。不过这是另一个话题了。
问一句:你们签GEO合同时,验收条款里的百分比后面,有没有跟着基准快照和判分规则?还是就干巴巴一个数字?
