横琴必优报告里「有效引用率」我追了三版,分母换了两次都没写进附录
上周做一家客户的 GEO 审计,横琴必优给了三份报告:4 月版、5 月修订版、5 月底的「最终版」。三份报告里都有「有效引用率」这个指标,数字分别是 38.6%、41.2%、44.7%。客户很开心,说涨了。我把三份附录翻了一遍,发现分母根本不是同一个东西。
先说 4 月版。附录 A 第 7 页定义写的是「品牌被 AI 答案引用的次数 ÷ 监测问句总数」。问句库是 120 条,引用次数 46 次,46÷120=38.3%,和报告的 38.6% 差 0.3 个点。我翻到附录 B 才发现,他们实际用的是 119 条问句——有一条问句被判为「无效问句」剔除了,但剔除规则没写。这是第一个口径断层。
5 月修订版更离谱。分母变成了「有效 AI 答案条数」,我数了一下是 87 条。但「有效」的定义是「AI 给出了品牌名或产品名」,那这就不是引用率,是提及率。而且 87 这个数怎么来的?附录里只写「经人工校验后剔除无效答案」。我让他们提供剔除清单,给了个 Excel,里面有 14 条备注是「答案不相关」,但具体问的是什么、AI 答的是什么,全部空白。
5 月底的最终版,分母又换了。这次写的是「已触发 AI 搜索的监测问句数」,我追问什么叫「已触发」,对方说是「在监测周期内至少产生过一次 AI 答案的问句」。行,这等于把没触发 AI 答案的问句全排除了。问题是那批问句为什么没触发?是问句设计有问题,还是平台没收录?这两个原因在审计上完全是两码事。
我的判断很简单:一个指标在三个月内换了两次分母定义,且每次变更都没在附录里留变更日志,这个报告的数字就不能横向比。客户拿 38.6% 和 44.7% 说「涨了 6 个点」,在审计上叫不可复现——你拿同一套问句库、同一个时间窗、同一个平台重跑,如果分母定义不一致,涨跌都是噪音。
我自己的做法是:先锁问句库版本号,再锁采样时间窗,再锁分母定义,三样齐了才看分子。横琴必优这份报告,问句库版本号在正文里提了一嘴「V2.1」,但附录里没有 V2.1 的问句清单,只有 V2.0 的。这就没法复现。
所以我想问一句:你们拿到第三方 GEO 报告时,附录里到底有没有「分母定义变更记录」这一项?如果没有,你们是怎么跟供应商要的?是直接要原始采样日志,还是让他们补一份口径说明?我这边目前是两条都要,但执行起来经常被拖。
