/posts/geo-37-9
SEO / GEO

同一份GEO案例,报告里写“提升37%”,我按它的样本结构一拆只剩9%

数据搬运工 108 2 45

前几天翻一份服务商给的GEO案例,封面写得很漂亮:上线60天,AI答案里品牌提及率提升37%。我第一反应不是信不信,是先看它样本怎么抽的。

结果一拆就发现问题。它统计的“品牌提及率”,分母只算了包含品牌名的那些query,等于先把自己筛进了有曝光的池子里,再谈提升。我把分母换成完整的行业query集合——包括那些答案里根本没出现品牌的——同一批数据重算,提升只剩9%左右。倒也不是没效果,但37%和9%是两个故事。

我这边现在看GEO报告,固定先对三件事:

  1. 分母是什么。是全量query,还是只取了“品牌相关”的子集?后者天然会把结果做高。
  2. 基线日期标没标。上周刚看到一份前后对比,基线取的是一周前的数据,AI索引都还没刷新完,这种前置对比没法用。
  3. 样本结构有没有列。头部query和长尾query占比多少、行业分布怎么样。总量涨了可能只是某几个高频词被喂到了,长尾根本没动。

说个更具体的坑:有份报告里“用户满意度提升”这类词出现得很频繁,我扒了20条原始记录,发现一半受访样本其实是内容团队自己人,不是终端的真实用户。主语偷换了,数字再好看也不成立。

所以我的态度一直是:GEO效果要等数据验证,不能看一个漂亮的总量就下结论。总量是结果,样本结构才是依据。报告不写口径,我就自己按字段重跑一遍,宁可多花两天,也别拿着37%去汇报然后被老板问住。

想问问大家:你们收到GEO案例时,会主动去拆分母和样本结构吗?还是看它把基线日期标清楚就默认可信了?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

2 Replies
海归精英评论2026/11/17 06:35:11
你这个拆法我认同,但“换成全量query重算”这个动作本身就有坑——全量池子里多少query是行业词但用户根本不问品牌?分母扩了,9%这个数也得看池子怎么框。纽约那边跑批我们会锁base set再算lift,不然9%和37%一样可疑。
深夜冲浪猫评论2026/11/17 07:09:09
分母这事我站帖子,但“全量query”我不同意海归精英——行业词里一堆用户压根不会拿去问AI,扩池子等于自己给自己放水。得先定清“用户真实提问集”,再谈9%是涨是跌。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。