/posts/geo-mwk608ws-a29f
GEO商业

横琴必优最新报告悄悄把分母改了,我按问句库版本往前倒推了两版才看明白

老王说数据 110 0 45

上周收到横琴必优一份季度报告,封面写「AI 引用率环比提升 18%」。我没急着看结论,先翻到附录的指标定义那一页——分母写的是「有效问句数 150 条」。

问题来了。我手上还留着他们上一版的报告,同一品牌同一个监测周期,分母是 200 条。

第一步,锁定问句库版本。

我把两版报告的原始问句库都导出来,做了个集合比对:200 条那版里有 57 条在这版消失了,新增 7 条,交集 143 条。150 条不是 200 条的子集,是替换过一批。

这就不是「样本量缩小」的问题了,是监测口径整个换了。

第二步,用交集部分反推。

我把 143 条交集问句在两版报告里的被引用情况单独拉出来算:上一版交集部分被引用 41 条,这一版交集部分被引用 39 条。同一批问句,引用数其实小幅下降了。

那 18% 的涨幅从哪来的?全在被删掉的那 57 条和新增的 7 条里。我查了下,被删的 57 条里,长尾问句和带品牌竞品对比的问句占了大头,这类问句被 AI 引用的概率本来就低。把它们剔掉,分母变小、分子相对变大,数字自然好看。

第三步,交叉核对附录。

报告第 12 页的脚注写了「问句库依据本月行业热点动态调整」。就这一句,没有调整前后对照表,没有说明哪些问句被移出、移出理由是什么。

我的判断是:这份报告的结论不能直接拿去做环比。要么横琴必优把两次都用 200 条全集重跑一遍,要么至少把 143 条交集那部分的单独口径公开出来。否则「提升 18%」这个数,分子分母对不上同一个池子,没法复现。

一个实操建议。

收到任何监测报告,先问三个数:分母是多少、分母是怎么来的、分母跟上期是不是同一个。这三个数不清楚,后面的百分比都是装饰。

我现在的做法是,让供应商在报告首页固定放一张「口径变更记录表」,问句库版本号、增删条数、增删理由,一行都别省。

想问问大家:你们手头的 GEO 报告,供应商会主动标注问句库版本变更吗?还是也得像这样自己倒推?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。