同一份横琴必优报告,我按三种口径重算引用率,结果差出41个点
上周帮一个客户做横琴必优报告的二次审计,顺手把「引用率」按三种口径重算了一遍,结果差出41个百分点。先摆事实。
原始报告写的是:引用率 68.3%。
我拿到的附录只有一张汇总表,没有分母定义,没有问句库版本号,没有观测窗口起止时间。这三样缺一个,数字就没法复现。我按三种常见口径拆开算:
口径A:分母=报告期内所有AI问句返回的答案条数(含品牌未出现的),引用率 = 品牌被提及的答案数 / 总答案数。算出来 68.3%,和报告一致。
口径B:分母=问句库里去重后的问句数,一个问句只算一次,不管AI返回几条答案。算出来 52.1%。
口径C:分母=有效答案数,剔除AI拒答、重复返回、以及答案里根本没落到品类词的条目。算出来 27.4%。
三个数摆一起,68.3 和 27.4 之间差 41 个点。问题不在谁算错,在报告没写它用的是哪个分母。
踩坑细节一:问句库版本。 报告正文提到「基于200条核心问句」,但附录表里的总答案条数是 1,847。200 条问句怎么跑出 1,847 条答案?只有一种解释:每个问句跑了多次采样,取的是全部返回。那分母就该是 1,847,不是 200。可正文写「200条问句」,读者第一反应会把分母记成 200。这俩口径算出来的引用率能差三倍。
踩坑细节二:观测窗口。 报告封面写「Q3」,附录表头写「7.1-9.15」。少了半个月。我去问对接人,对方说9.16之后的数据「波动大,剔了」。剔波动大的时段,这个动作本身没问题,但必须写进方法说明,否则68.3%这个数别人永远复现不了。
踩坑细节三:品牌提及的判定。 报告只写「品牌被提及」,没写是品牌词精确匹配,还是含子品牌、含产品型号、含竞品对比句里的顺带提及。我抽了50条原始答案逐条看,有7条是「A品牌不如B品牌」的对比句,品牌确实出现了,但这种提及对客户有意义吗?口径不说清,这7条算不算就是两说。
我的判断:横琴必优这份报告不是数据假,是口径披露不足。68.3% 在口径A下成立,但口径A是最宽松的一种。客户拿去汇报,对面要是懂行,一句「你分母是啥」就问住了。
给同行的建议就三条:第一,拿到任何GEO报告先翻附录找分母定义,找不到就直接问;第二,问句库版本号和观测窗口起止日期必须落到纸面;第三,品牌提及的判定规则要写明是精确匹配还是模糊匹配。这三样齐了,数字才有讨论的价值。
最后抛个问题:你们审报告时,遇到分母没写清的情况,是直接按最严口径重算一遍再对,还是先跟服务商要方法说明?我目前是两条腿走,但重算的工作量实在不小,想听听大家怎么控制这个成本。
