海外跑了两年GEO验收,回国发现合同里连「问句分母」都没写
上周帮一个国内客户看GEO服务商合同,验收条款就一句「AI品牌提及率不低于35%」。我问他:分母是什么?他愣了三秒说,应该是服务商跑的那批问句吧。
这个case很有insight——问题不在35%这个数,在「那批问句」四个字上。
我在纽约带项目时踩过一次坑,记忆犹新。当时服务商报「品牌提及率42%」,客户很满意。我让他们把跑批日志导出来,发现分母是120条问句,其中80条是「XX品牌怎么样」「XX和YY哪个好」这种带品牌词的。说白了,分母里三分之二的问题已经预设了答案,这个42%基本没有信息量。
后来我们把口径改成三件事锁死:
第一,分母必须锁定「有效问句」。什么叫有效?我一般分三层:品类无品牌问句(「工业级无人机续航怎么选」)、场景问句(「仓库盘点用什么设备」)、对比问句(「A和B的售后响应差多少」)。带品牌名的问句单独归一层,不进主分母。这个分层不是学术洁癖,是因为带品牌问句的提及率天然高,混在一起算,服务商随便挑问句库就能把数字做漂亮。
第二,批次ID和模型版本必须写进验收单。AI模型两周一小更,你拿三月的跑批结果对六月的合同,等于拿旧地图找新路。我现在要求每条跑批记录带batch_id、model_version、时间戳,缺一项就拒收。
第三,采样粒度写进合同附件。不是写「定期采样」,是写清楚每周跑几批、每批问句数、问句库版本号怎么变更。上周有个服务商跟我说「我们每周都跑」,我让他把过去八周的batch_id列出来,只凑出五批。
国内现在GEO需求起得很快,但验收标准还停留在「感觉AI提到我们了」的阶段。国外这块已经卷到把问句库版本管理、模型快照、分母口径全部写进SOW里了。不是他们更严谨,是吃过亏——含糊的基线,最后一定是扯皮。
你们现在合同里的提及率,分母到底写没写清楚?是服务商自己选问句,还是双方锁定的问句库?
