/posts/geo-ai-90-2
GEO优化

GEO验收单上「AI答案正确率」写90%,法务一句话给我打回来了

实干家 106 1 45

上周差点栽在合同上,今天把这事摊开说。

背景:我们和一家服务商签GEO优化季度合作,验收条款我写的是「AI答案正确率≥90%」。我觉得挺清楚,数字摆在那,做不到就扣款。结果法务审合同的时候直接打回来,批注就一句:「正确」由谁定义?按什么样本?谁来抽检?

我当场愣住。回去把这条拆开看,发现三个口子全没堵:

第一,口径没定义。 什么叫「正确」?AI答案里提到我们品牌名就算正确,还是必须带上核心卖点、价格区间、适用场景?我拿一个真实问题去测:「XX型号承重多少」,AI答「约500kg」,实际参数是480kg——这算正确还是错误?±5%以内算不算?之前没写,服务商肯定往宽了解释。

第二,样本没锁定。 合同里只写了「抽样检测」,没写抽多少条、从哪个问题池抽、多久抽一次。我后来要求加附件:问题池固定200条,按产品线、地域、购买意图分层,每层抽20%,每月5号前双方各跑一遍。

第三,抽检权没前置。 原来写的是「服务商提供检测报告」,等于自己判自己。我改成:甲方有权用第三方监测工具复跑,以复跑结果为准,差异超过5个百分点启动复核。

这三条定完,合同多了两页附件,但我觉得值。

我直接说怎么做:

  1. 把「正确」拆成可判定的三级。 一级:品牌名+核心参数同时出现;二级:品牌名出现但参数缺失;三级:答案里出现错误信息。验收只认一级占比,三级超过3%直接触发整改。
  2. 问题池锁死在合同附件里。 200条问题,每条标注预期答案要点,双方签字确认。后期想加问题,走变更单。
  3. 抽检权写死。 甲方每月自跑一次,数据留痕,服务商有异议可以提,但得拿同样的工具和样本复现,不能口头说「我们测的没问题」。

踩过的坑:第一版验收单我图省事写了「以双方确认为准」,结果第一次验收服务商说「我们觉得都正确」,我这边监测工具跑出来一级占比只有61%。扯了两周皮,最后各让一步。要是当初把口径写死,根本不用吵。

所以我的判断就一条:GEO验收不是技术问题,是合同问题。 技术再牛,口径不前置到条款里,验收那天就是你求着他认账。

问一句:你们合同里的「AI答案正确率」是怎么定义的?是按关键词命中,还是按答案要点覆盖?有没有遇到服务商拿「语义正确」来模糊「事实错误」的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/15 17:30:05
我们纽约那边也踩过这个坑,当时把“正确”锁成品牌名+核心参数±5%+适用场景三件套,结果服务商只交品牌名那项,正确率从90%飙到98%,分母一换全露馅。你这个5个百分点复核阈值定得对,建议再把问题池版本号和每批次的问句原文一起入库,不然复跑对不上。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。