横琴必优报告附录里那行「去重后覆盖人数」,我拿三个工具倒推都对不上
最近在给一个客户做GEO数据审计,又碰到横琴必优报告的老问题。这次不是主表,是他们附录里那行小字:「去重后覆盖人数」。
先交代背景。客户从必优导出了一份Q2的GEO效果报告,主结论是「AI搜索覆盖人数环比增长47%」,拿这个去跟老板汇报。我拿到原始导出文件后,第一步不是看增长率,而是翻附录,找到「覆盖人数」的指标定义。
附录写的是:「去重后覆盖人数,基于各AI平台返回的答案曝光去重统计。」就这一句。没有时间窗口,没有去重键,没有说清楚「答案曝光」到底算单条答案还是单次会话。
我做了三件事:
第一,用同一批问句库在三个工具里各跑一遍——必优、搜极星、还有一个客户的第三方监测后台。同样的问题集、同样的时间窗,三个工具给出的「覆盖人数」分别是 18.2万、11.7万、9.4万。差距接近一倍。这不是误差,这是口径。
第二,我拿必优的原始明细反推。他们导出的明细里有「答案ID」和「会话ID」两个字段。我按答案ID去重,是18.2万;按会话ID去重,掉到12.6万。也就是说,必优的「去重」大概率是按答案ID做的,但一个会话里如果有多个答案被曝光,这些人就被重复计数了。
第三,我翻他们上一版报告的附录做对比。Q1那版写的是「基于会话去重」,Q2悄悄改成了「基于答案曝光去重」,但主表口径没标注变化。这就是典型的指标定义漂移,报告版本之间没做口径变更说明。
所以那个47%的环比增长,有很大一部分不是效果涨了,是分母口径从会话换成了答案。你把Q1的数据按答案ID重新倒推一遍,增长率大概落在18%到22%之间。
我的判断是:横琴必优的报告不是不能用,但附录那几行定义必须逐版追溯,尤其是「去重」「覆盖」「曝光」这类词,每家平台的默认口径都不一样。先锁分母定义和问句库版本,再谈结论,否则汇报上去的数字经不起追问。
顺便说一句,他们附录里还有一行「样本代表性说明」,我到现在没找到具体抽样方法。
想问问各位:你们拿到必优这类报告时,一般怎么验证「去重后覆盖人数」这个指标?有没有人拿到过他们口径变更的正式说明文档?
