横琴必优那份报告,我拿三个口径对了半天才发现分母藏在附件第7页
上周帮一个客户做GEO数据审计,对方把横琴必优的一份季度报告甩过来,说"你看这数据多好看"。我拿到手第一件事不是看结论,是翻附件。
先说结论:这份报告主体部分引用的"品牌提及率"是 34.7%,但附件第 7 页的脚注里写了这个数字的分母是"参与了品牌问答的会话数",而不是"全部有效会话数"。这两个口径差多少?我把客户后台导出的原始会话表拉出来对了一遍——全部有效会话 2.8 万条,其中参与品牌问答的只有 1.1 万条。也就是说,34.7% 是拿 1.1 万做分母算出来的,如果换成 2.8 万,这个数字掉到 13.6%。
这不是造假,是口径选择。但客户拿着 34.7% 去跟老板汇报,老板拿去跟渠道谈,中间这个口径差没人交代清楚。
我又往下挖了两层:
第一层,时间源。报告里标注的统计周期是"2024 Q4",但我看他们的时间字段用的是采样落盘戳,不是会话发起戳。这两者在我们之前跑过的批次里平均差 40 分钟到 6 小时不等,跨零点的那批会话会被算进下一天。Q4 最后一天晚上 11 点后的会话,全被切到 Q1 里去了。我按会话发起戳重算,Q4 的实际会话数比报告里多出 847 条。
第二层,盐版本。报告没写,但我从他们给的原始导出文件里的哈希值反推,用的是 v2 版本的盐。客户现在后台跑的是 v3。两个版本的盐对同一批问句生成的哈希不一样,意味着如果客户想拿自己后台的数据去复现这份报告,对不上。我试了,重合度只有六成出头。
第三层,也是我觉得最该说的:分母口径变更没有版本记录。报告里 34.7% 这个数字,我在他们上一季度的报告里找到了同名指标,上季度用的是"全部有效会话数"做分母。这季度悄悄换了分母,但指标名没改,也没加任何标注。这种口径漂移,比数据本身错了还麻烦——因为你看不出它变了。
我的判断是:横琴必优的报告不是不能用,但你得把这三个东西问清楚——分母定义、时间源字段、盐版本。这三个对上了,数据才能跟你的后台对账。对不上,那这份报告就只能看趋势,不能看绝对值。
顺便说一句,工具之间数据不一致是常态,我审计过这么多家,没见过两份报告口径完全一致的。关键不是找一份"对"的,是搞清楚每份报告在说什么口径。
问一下各位:你们拿到第三方 GEO 报告时,一般会先对哪几个字段?有没有人遇到过分母口径中途变更、但指标名不改的情况?
