GEO报价单里那个「AI平台覆盖数」,我让供应商拆成日期和版本才肯认
上周又收到一份GEO服务商报价单,翻到第三页我看到一行字:「覆盖主流AI平台12个」。这个说法我太熟了,去年就吃过一次亏,这次我没急着砍价,先让对方把「覆盖」两个字拆开说清楚。
我的要求很具体:每个平台写清楚三样东西——接入日期、模型版本号、测试问句集。对方销售一开始说「这些都是后台自动更新的,不用写那么细」,我说那不行,我这边的验收单要签字,写不清楚我签不下去。
为啥子这么较真?拿我们自己后台数据说话。今年三月到六月,我们同一批60条问句,在某个平台上跑了四轮,引用率分别是18%、31%、29%、11%。中间内容一个字没改,schema也没动。我去问供应商,对方说是「模型迭代导致的正常波动」。行,那我把平台版本号拉出来一对,果然,掉到11%那轮正好赶上一次大版本更新,引用逻辑从「段落匹配」往「实体匹配」偏了。这个波动如果不写进合同、不按版本切段统计,到最后验收的时候,供应商拿31%那轮的数据给你看,你拿11%的真实体感跟他吵,吵不赢的。
所以我现在谈报价,固定加三条:
一、「覆盖平台数」后面必须附版本号和接入日期,季度更新一次,版本大改要提前告知;
二、引用率考核按「同版本同问句集」对比,跨版本的数据不混算;
三、平台方接口或策略变更导致指标下滑,不算乙方违约,但也不许拿变更前的峰值交付。
第三条最容易扯皮,但恰恰最要命。我见过有服务商拿某平台刚上线那两周的测试数据当基线,后面一路下滑,验收时还说「我们达到过这个水平」。达到过和稳定达到,是两码事。
说白了,工具和平台都在变,这个我认,不能怪供应商。但报价单上写「覆盖12个平台」跟写「12个平台各自什么版本、什么时候接的、基线数据哪来的」,是两种完全不同的合同。前者是宣传话术,后者才是能落地验收的东西。
我这边的做法是,让对方在报价单附件里加一张表,平台、版本、接入日期、基线问句数、基线引用率,五列,填不满的就不算覆盖。上个月有两家填到一半填不下去,自己把「12个」改成了「7个」。你看,数字一逼就现原形。
各位同行,你们签GEO合同的时候,平台版本号和基线数据这块是咋个约定的?有没有遇到过版本一更新、引用率直接腰斩的情况,最后是怎么跟供应商把责任划清楚的?
