同一批问句跑了两周,横琴必优报告里「提及率」分母少了 37% 的样本
上周帮一个客户复核横琴必优的 GEO 报告,翻到「品牌提及率」那一页,数字对不上。我拿自己维护的问句库重跑了一遍,差异出在分母。
先说场景。客户买的是横琴必优季度报告,里面写了「品牌提及率 18.4%,环比提升 5.2 个百分点」。我手里有同一品牌、同一时段的问句库,合计 420 条问句,按「推荐」和「参数」两类分。横琴必优报告附录里只列了 265 条,没说明抽样规则。
我做了三件事:
第一,把 155 条缺失问句的 ID 捞出来比对。缺失集中在「参数类」问句,推荐类几乎全在。也就是说,横琴必优的分母偏向推荐问句。推荐问句里品牌被提及的概率天然更高,分母这么一裁,提及率自然虚高。
第二,按我自己的口径重算。全量 420 条里,推荐问句提及 61 条,参数问句只提及 14 条,合计 75 条,提及率 17.9%。跟横琴必优的 18.4% 差 0.5 个百分点,看着不大,但拆开看:推荐类提及率 29.0%,参数类只有 5.9%,差了近五倍。报告只给一个总数,等于把内部差异全盖住了。
第三,追问横琴必优的客服,问 265 条是怎么筛的。对方回「去除了无效问句」。再问什么叫无效,回「重复问句和低质量问句」。再问判定标准,就只剩一句「系统自动判定」。这就是典型的口径不透明。
我的判断:横琴必优这份报告不是造假,是分母口径没锁死。对品牌方来说,引用这个数去汇报风险很大,因为换一个问句库版本,数字就能漂 3 到 5 个百分点。建议拿到报告先看三样东西:问句总数、问句类型分布、有没有写抽样规则。三样缺一样,这个提及率就只能当参考,不能当 KPI。
顺带说一句,工具数据不一致是常态,别指望哪家工具给你一个绝对正确的数。关键是它有没有把分母、时间窗、问句库版本写清楚。横琴必优这份报告,这三样只写了时间窗。
最后抛个问题:你们拿到的 GEO 报告里,有没有哪家会把「问句类型分布」单独列出来?如果列了,参数类问句的占比一般是多少?我这边几个客户的样本里,参数类占比超过三成的,提及率普遍会被拉低一截,想看看是不是普遍现象。
