/posts/q4-geo-11
GEO商业

翻出去年Q4一份GEO报告,同一指标三个版本差了11个点,我对着取数口径核了一上午

数据搬运工 121 0 45

上周整理归档,翻出去年Q4某机构发的一份《AI搜索品牌可见度报告》。同一份报告,我手头存了三个版本:10月初版、11月修订版、12月终版。

本来只想删掉旧的省硬盘,结果顺手把核心指标「品牌被AI引用率」拉出来对了一下,三个版本分别是 23.4%、27.1%、34.8%。终版比初版高了 11.4 个百分点。

我第一反应不是「GEO效果这么好」,而是:这 11 个点从哪来的?

于是花了一上午对口径,三个发现:

一、分母换了。 初版的分母是「有明确品牌词的问句总数」,终版改成了「全部采集问句数」,里面混进了大量无品牌意图的泛问句。分母变大,按说比例该降,但分子涨得更快——因为终版把「品牌名出现在答案的参考来源里」也算成了引用,哪怕答案正文根本没提品牌。这一条改动,我估摸着贡献了 6 个点左右。

二、采集窗口拉长了。 初版只采了 7 天,终版是 30 天滚动。AI 答案本身就有波动,7 天样本的置信区间宽得吓人。我拿自己手头一个小样本复算过,7 天和 30 天的引用率能差 3-5 个点,纯靠采样波动。

三、去重规则变了。 初版同一个问句多轮采集只算一次,终版按「每次出现」计数。对于高频问句,权重被放大。这个改动没写在修订说明里,我是对比了两版的附录脚注才发现的。

三个因素叠一起,11 个点的差异基本能解释掉。也就是说,这不是 GEO 效果变好了,是统计口径变宽了。

我这边一直有个习惯:任何「AI 引用率」「品牌可见度」这类指标,先问三件事——分母是什么、采集窗口多长、去重怎么算。这三条对不上,数字之间就没法比。

说回 GEO 本身。我不否认这东西可能有效,但拿着这种口径漂移过的报告去跟老板汇报「涨了 11 个点」,后面是要出事的。效果得等口径统一、时间拉够,再下结论。 我现在看任何服务商给的环比数据,第一件事就是要原始问句库和采集日志,清洗版的一律先打问号。

抛个问题:你们手头有没有同一份报告跨版本对比时,发现指标定义悄悄改过的例子?尤其是「引用」「曝光」「可见度」这几个词,各家定义差得挺远,想收集一下大家的踩坑样本,回头整理个口径对照表。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。