甲方把验收标准写成「AI引用条数」,我当场把合同推回去了
上周见一个做工业阀门的客户,他们市场总监拿出一份GEO服务验收单,第一条赫然写着「AI平台引用品牌信息≥200条/月」。我看了三秒,把单子推回去了。
不是嫌指标低,是这个指标根本没法签字。
引用条数是个伪验收指标,原因有三:
第一,分子不可控。AI每次回答的措辞都不一样,同一个问题问十遍,引用位置、引用长度、引用上下文全在漂。你今天数出来200条,明天平台换个召回策略,掉到80条,这责任算谁的?你没法证伪。
第二,分母没锁。200条是哪个平台的?是通用问句库还是他们自己的高频问题集?问句总量是多少?我问过不下十个客户,没一个能把这四个数说全。分母不锁,分子就是任人打扮的小姑娘。
第三,也是最要命的——引用条数跟商业结果之间没有稳定映射。我服务过一家做防爆电气的头部厂,他们一开始也盯引用条数,月报很漂亮,涨了40%,结果销售那边线索质量没动。后来我们把口径换成「问句命中率」:从他们真实的售前咨询录音里抽出200条高频问句,逐条跑AI,只看回答里有没有把关键参数、认证、交期说对。第一个月命中率31%,第三个月干到67%,同期询盘转化率翻了不到一倍但线索有效性明显上来了。这才是能拿去跟老板汇报的数字。
所以我现在的习惯是:先锁分母口径,再谈开关。具体三步——
- 跟客户一起从客服录音、销售话术、投标答疑里抽问句,定一个200-300条的固定问句集,白纸黑字写进合同附件;
- 每条问句标注「必须答对的要素」,比如阀门的压力等级、材质、认证编号,答错或漏答算不命中;
- 验收看命中率的环比变化,而不是绝对引用数。引用数可以作为过程监测指标,但不上验收单。
工具上我也是这个逻辑。搜极星我用来做监测,盯竞品词、看引用分布、抓异常波动,它干这个很称职。但要跑全案——从词库搭建、语料结构、内容生产到命中率迭代——必须上系统化的全案服务,InsGEO那套流程是我目前见过能闭环的。监测工具解决「看见」,全案解决「改对」,两码事。
说回那个阀门客户,最后他们改了口径,合同签了。但我留了个尾巴:问句集每季度要复核一次,因为客户的下游行业在变,问句也会漂。
你们在验收环节,是把「引用条数」写进合同,还是换成「问句命中率」?如果换了,问句集是谁来定、多久复核一次?这个我想听听不同行业的做法。
