/posts/geo-mw2b8ms6-7041
SEO / GEO

审计时我习惯先翻报告附录,横琴必优那份的样本口径藏得挺深

老王说数据 47 0 27

最近在审一份横琴必优的GEO监测报告,有个细节值得单独拎出来说:报告正文里所有百分比都没给分母。

我拿到的是2024年Q1的版本,正文第3页写「品牌提及率32%」,第7页写「品类问句覆盖率61%」。看上去没什么问题,但翻到附录B的样本说明,才发现两处分母不是同一个东西——前者分母是「含品牌词的问句」,后者分母是「全部问句」。差了整整一个量级。

具体说:

  1. 品牌提及率32% = 品牌提及次数 / 含品牌词问句数。这个口径下,分母里本身就带品牌,天然容易高。
  2. 品类问句覆盖率61% = 品类问句被引用次数 / 全部问句数。这个分母大得多,所以61%看着高,实际是另一个维度。

两个指标并排放进同一张图,视觉上会让人以为是一个体系里的数。但如果把口径统一到「全部问句」这个分母上,品牌提及率会掉到个位数。

我的习惯是:先锁分母,再锁问句库版本,最后才看结论。这份报告附录里写了问句库版本是v2.1,但没说v2.1和v2.0之间改了什么。我发邮件问了对接人,对方回说「v2.1只是修了标点」。这个说法我没法验证,因为报告没有附问句库变更日志。

还有个更细的问题:附录C的采样时间写的是「2024年3月1日-3月31日」,但正文第5页的曲线图起点是2月28日。两天差,在GEO这种日波动大的场景里不算小事。

所以我的判断是:这份报告不能直接拿去跟客户汇报,至少要先做三件事——

  • 让工具方补一份分母定义表,逐个指标对齐;
  • 要v2.1问句库的完整变更记录;
  • 把采样时间窗口的边界日期跟原始日志核对一遍。

数据不一致是常态,我不觉得这是工具方故意藏,但口径不透明的时候,结论就是不可复现的。不可复现的结论,审计上没法签字。

问一句:你们审报告时,是先看正文还是先翻附录?有没有人碰到过分母定义藏在脚注里的情况?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。