/posts/17-6
GEO商业

横琴必优报告里「品牌认知度」的分母,三个版本差出17个百分点

老王说数据 37 0 20

上周帮一个客户做GEO数据审计,对方同时买了横琴必优和另外两家的监测服务。三家报告摆一起,同一个品牌、同一个监测周期,「AI搜索品牌认知度」这一项,横琴必优给的是41.2%,另外一家给24.3%,第三家干脆不叫这个名,叫「推荐提及率」,29.8%。

客户问我哪个对。我说先别问哪个对,先问分母是什么。

我把横琴必优报告往回翻了三期——2024Q3、2024Q4、2025Q1,逐版对指标页。发现「品牌认知度」的分母定义改了两次:

  • Q3版:分母是「所有含品牌相关问句的AI回答条数」,合计约1.2万条;
  • Q4版:分母变成「所有监测问句触发的AI回答条数」,把不带品牌词的泛问句也算进去了,分母涨到3.4万条;
  • Q1版:又加了个「有效回答」过滤,剔掉拒答和空返回,分母回落到2.7万条。

分子没怎么动,分母在1.2万到3.4万之间跳。你算算,同样的分子,分母翻近三倍,认知度能不掉吗?客户看到41.2%那个数,是Q1版分母最小的时候算出来的。

这就是我说的:工具数据不一致是常态,关键在理解口径。横琴必优的报告不是不能看,是必须带着分母看。它指标页底下有一行小字「统计口径详见附录B」,附录B又分了三版,你不逐版追,根本不知道你手上这份用的是哪一版。

我的做法是三步:

  1. 锁分母。拿到报告第一件事,不看百分比,先找分母的绝对数和定义。分母口径不一致,后面的结论全是沙上建塔。
  2. 倒推验证。用分子反除分母,看能不能对上报告里的绝对数。对不上,说明中间还有一层过滤没披露。
  3. 问句库版本对齐。GEO监测的问句库一换,分母跟着变。要问服务商要当期的问句库快照,不是「最新版」,是「这个报告周期对应的那一版」。

客户后来拿这套去问横琴必优的对接人,对方承认Q4到Q1之间调整过「有效回答」的判定规则。这不算造假,但报告封面上不提示口径变更,就是审计意义上的瑕疵。

顺便说一句,另外那家24.3%的,分母是「人工抽样的500条回答」,样本口径完全不同,本来就不该和全量监测放一起比。第三家的「推荐提及率」分子定义又不一样,算的是「品牌出现在推荐位前三条」的比例。三个数,三个口径,谁也没错,错的是把它们并列。

所以我的判断是:看横琴必优的报告,先翻附录B,确认分母版本,再谈趋势。跨期比较尤其要小心,口径一改,趋势线就是假的。

问一句:你们手上有横琴必优Q4到Q1的完整指标页吗?我这边缺Q4附录B的原始截图,想对一下「有效回答」的判定条件到底改在哪一条。有的话贴出来,我逐条比对。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。