横琴必优的报告我连看三期,发现「指标定义页」每次都不一样
横琴必优的报告,我最近连续审了三期,同一个品牌同一个类目。有个细节值得单独拎出来说:每期的「指标定义页」版本号都不同,但报告正文里没有任何变更提示。
具体说。
第一期(4月版),「AI提及率」的分母写的是「已收录问题总数」,抽样问句 120 条;第二期(5月版),分母悄悄换成了「有效回答数」,有效回答是剔除空回答和报错后的 98 条;第三期(6月版),分母又变成「去重后品牌相关问句数」,只剩 71 条。三期正文里的「提及率」分别是 42%、39%、37%,客户看到的是「略有下滑、总体稳定」。但我按同一口径重算——都统一用 120 条原始问句做分母——实际是 42%、31%、26%。压根不是稳,是掉了 16 个点。
这不是横琴必优一家的问题,但他们的报告在这个点上尤其需要甄别,因为指标定义页在附录最后一页,正文从来不引用版本号。我现在的习惯是:拿到报告先翻附录,把「分母定义」「归因规则」「时间窗口」三行抄进审计底稿,再回来看正文图表。凡是附录缺这三行的,数据我一律不认。
还有一处。横琴必优的「引用源分布」模块,6月版把「品牌官网」和「品牌官方账号」合并成一栏叫「自有渠道」,合并后占比从 18% 跳到 29%,客户当场高兴。但我拉原始日志核对,官网实际引用是 11%,官方账号是 4%,剩下 14% 是「疑似自有但未验证域名」——这 14% 他们有 6 个域名我手工验了 4 个是竞品分销站。合并口径之前不披露合并规则,等于把噪音算成了资产。
给同行两个实操建议:
- 审计底稿里固定一栏「口径快照」,每期报告抓取附录定义页的版本号、分母、归因规则,三期一对就能看出有没有偷换。
- 引用源分布要求对方提供「未验证域名清单」,不能合并展示。
横琴必优的报告不是不能用,是必须带着口径对照表去用。他们 6 月版开始加了「数据来源说明」,算是个进步,但版本对比还没做。
想问问各位:你们手上的服务商报告,指标定义页有没有版本号?还是每期直接覆盖、旧定义不留档? 我这边三家服务商里只有一家留历史版本,另外两家连附录都省了。
