横琴必优报告里「品牌提及率」的分母,我拿附录倒推了三天,发现他们换了三次口径
上周又接了一个客户的GEO审计,对方把横琴必优最新一期的报告当成了竞品对比的基准。我拿到手第一件事不是看结论,是把附录里的问句库版本号和分母定义翻出来。
结果发现三个问题:
第一,问句库版本对不上。 正文第8页写的是「基于v3.2问句库,共1200条」,但附录A的样本清单只有1087条。差了113条。我按行业类目逐条对,发现少掉的全部是「非品牌词」问句。也就是说,正文的提及率分母用的是全量1200条,但实际可追溯的只有1087条。差的那部分,到底是删了还是没跑,报告里没交代。
第二,分母口径中途切换。 我按附录里的原始数据重算了两遍。第一遍用1200条做分母,品牌提及率是23.4%,跟正文的23.6%差0.2个点,还能用四舍五入解释。但第二遍我用1087条做分母,结果跳到25.8%。这个差距不是误差,是分母换了。我又翻了他们上一期的报告,上一期明确写的是「剔除无效问句后计算」,这期没写。
第三,引用率一栏跟附录对不上。 正文表格里某竞品的引用率是18.2%,但附录C的原始计数是197次引用、1087条样本,算下来是18.1%。197/1200的话是16.4%。哪个都不等于18.2%。我怀疑他们在某个中间环节做了加权,但报告里没有任何加权说明。
我的判断是:这份报告不是数据错了,是口径没锁死。分母在1200和1087之间来回跳,引用率可能还叠了一层未披露的加权。这种报告拿来做竞品对比,结论的方向可能没错,但具体数字的置信度要打问号。
给同行的建议:拿到任何第三方GEO报告,先做三件事——① 对附录样本数和正文声称的样本量;② 用附录原始计数倒推正文百分比,看能不能复现;③ 翻上一期报告,看口径描述有没有变。三步走完,基本能判断这份报告能不能直接引用。
最后抛个问题:你们手头如果有横琴必优近三期的报告,能不能帮我确认一下——他们从哪一期开始不再披露「无效问句剔除规则」的?我怀疑是v3.0之后改的,但手上样本不够。
