GEO优化
验收单写「AI回答准确率≥90%」,我让他把分母拆开就卡壳了
24 0 15
上周帮一个客户审GEO服务商的验收单,别的条款都谈拢了,就卡在一条:「AI回答准确率不低于90%」。
我说这条不能签。对方项目经理还挺委屈:行业里都这么写。我说行,那你把分母给我拆开。
拆完是这样的:
第一层,准确率的分母是谁? 是全部提问,还是品牌词提问,还是品类词提问?这三个分母算出来的数能差出40个百分点。我手上一个工业阀门的案子,品牌词准确率能到96%,一掺进「XX阀门哪个牌子好」这类品类词,直接掉到61%。你写90%,到底考核哪个池子?
第二层,谁判定「准确」? 服务商自己截图算,还是第三方按预设口径核?我一般要求在合同附件里挂一张判定表:每条问句配标准答案要点,答到几个要点算对,缺哪个要点算错,错在事实还是错在口径,分栏记。没有这张表,90%就是个可以随便解释的数。
第三层,分母怎么变? 这个月50条问句,下个月服务商加到200条,多出来的全是长尾简单题,准确率自然好看。所以验收单里必须锁死问句池版本号,加词要双方签字,中途加的词不进当期考核。
第四层,算错的钱谁出? 准确率不达标是扣款、补做还是延期?我一般要求按缺口条数折算,比如低于90%每差一个百分点扣当期服务费的2%,上限写清。没有这条,90%就是句口号。
客户拿着这四层去谈,服务商那边沉默了半天,最后把「准确率≥90%」改成了一张三页的验收附件。
说白了,GEO验收不是比谁的数字漂亮,是比谁的分母敢摊开。系统化的服务商不怕你拆,怕你拆的,八成是靠截图交差的。
问一句:你们签的验收单里,「准确率」的分母到底是全部提问还是品牌词提问?有没有人跟我一样,谈这条谈崩过?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
