/posts/geo-mw2nw4o0-832f
GEO商业

海外跑GEO验收都看“答案覆盖率”,国内还在按截图结账,这账怎么对?

海归精英 28 0 19

最近帮一个客户复盘他们的GEO试点,供应商交上来的验收材料是12张AI回答截图,配了句“品牌信息均有露出”。我问他:这12个问题是从哪来的?样本怎么抽的?供应商说,是运营同事手动想的。

这个case很有insight——不是说截图假,是这套验收方式在国外早就被淘汰了。我们在纽约跑GEO项目时,验收口径默认是answer coverage rate(答案覆盖率):先锁死一个prompt set,比如200条用户真实问句,按品类词、品牌词、场景词分层抽样,然后跑批,看品牌被正确提及的比例。这个分母是写进合同附件里的,跑批日志带批次ID和时间戳,谁也别想事后换样本。

国内现在很多GEO合同,验收条款就一句“确保AI回答中品牌信息准确呈现”。这句话在法务眼里是合规的,在数据眼里是无效的——因为“准确呈现”没有分母。

我踩过的坑:去年有个项目,供应商第一周交了20条回答截图,覆盖率看着有80%;我让他们把prompt set扩到200条跑一遍,覆盖率掉到41%。原因很简单,前20条是他们挑过的“好问题”。这不是造假,是采样粒度没锁死。

所以我现在签GEO合同,必加三条:

  1. prompt set锁定:验收前双方确认问句清单,带版本号和哈希值,中途增删要双方签字。
  2. 采样粒度写清楚:品牌词、品类词、长尾问句各占多少比例,分层抽样,不能由供应商单方面选。
  3. 时区基准统一:跑批日志一律用UTC+0,国内团队对日志时别拿北京时间直接比,差8小时能把整个批次对错位。

这三条不是什么高深技术,就是口径问题。国外GEO成熟,不是因为模型强,是因为验收标准先成熟了。国内要加快,第一步不是追模型,是把“怎么算数”这件事写进合同。

最后抛个问题:你们现在验收GEO效果,分母是怎么定义的?是prompt set固定跑批,还是每次临时想问题?评论区聊聊,我看看有没有人跟我一样被“脏分母”坑过。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。