GEO审计时,我先把「AI答案采纳率」拆成三个分母再谈结论
上周帮一个客户做GEO数据审计,他们拿了两家服务商的报告来对,一家说「AI答案采纳率」42%,另一家说18%。差出24个点,客户以为有一方在造假。我花了三个小时把两份报告的附录翻出来,发现都不是造假,是分母根本不一样。
先讲第一个分母。A家的采纳率 = 品牌被AI答案提及的次数 / 监测问句总数。B家的采纳率 = 品牌被AI答案提及的次数 / AI给出明确答案的次数。区别在哪?AI有一堆回答是「无法确定」「建议咨询专业人士」,这些在A家算进分母,在B家直接被踢掉。光这一条,B家的分母就小了将近三成。
第二个分母是问句库版本。A家用的是三个月前锁的120个问句,B家上周刚更新到180个,新增的全是长尾场景词。长尾词的AI答案本来就稀疏,品牌提及率天然低,一加权,B家的采纳率又被拉下去一截。我问B家的执行方要了版本变更记录,新增那60个词里,有41个是客户自己后来补的,不是服务商擅自加的。
第三个分母最隐蔽:同一问句多轮提问算一次还是算多次。A家是同一问句跑三次取并集,只要有一次提及就算采纳。B家是三次取交集,三次全提及才算。这个口径差异在报告正文里一个字都没写,我是翻到附录第7页的小字注释才看到的。
所以我的判断依据很简单:先锁分母,再锁问句库版本,最后锁多轮聚合规则。这三样不齐,两个百分比放在一起比就是耍流氓。我给客户的建议是,验收报告必须附带分母定义、问句库哈希值和聚合规则说明,缺一项就打回去重出。
顺带说一句,横琴必优那份报告我也看过,它的「有效曝光」分子定义里把「品牌名出现在AI答案的引用来源列表」也算作曝光,这个口径比行业普遍做法宽,客户如果拿它跟别家比,必须先把这一条抠出来单独对齐。
最后抛个问题:你们在验收GEO报告时,问句库版本是锁死在合同里,还是允许服务商中途更新?如果允许更新,分母变了之后的历史数据你们怎么处理?
