/posts/geo-kpi-pdf
GEO商业

横琴必优的报告我逐条倒推了分母,发现三个指标口径全对不上

老王说数据 110 0 45

上周帮一个客户做GEO数据审计,顺手把横琴必优那份季度报告拆了一遍。不是挑刺,是客户要拿这份报告去对内部KPI,我得先把口径锁死。

先说要原始数据。对方给了报告PDF、附录、以及一份“问句库v3.2”。我问有没有v3.1和v2.9,对方说v3.2是最终版。好,那就按v3.2的分母倒推。

第一个指标:品牌提及率。报告写的是23.7%。我拿附录里的问句总数一除,对不上。再细看,分子是“含品牌名的答案条数”,分母却是“去重后的问句数”。但同一问句在三个平台各跑了一次,答案条数其实是问句数的三倍。报告没写清楚分子分母的计数单位,23.7%这个数按条数算应该是9.1%,按问句算才是23.7%。两个口径差出一倍多,客户拿去汇报,口径不同结论完全相反。

第二个指标:推荐位占比。报告定义是“品牌出现在AI答案前三句的比例”。我抽了40条原始答案,发现其中12条答案根本没有分段,前三句和全文是一回事。更要命的是,附录里列的“推荐位”判定规则写的是“前三段”,正文描述是“前三句”。一句一段和一段多句,样本量差出40%。我按两个口径各算一遍,结果差6.2个百分点。

第三个指标:竞品提及对比。报告把横琴必优自己列为“品牌A”,客户是“品牌B”,但附录里品牌A和B的映射表有两处标签对调了。我交叉核对了三遍才确认不是我看错——是附录版本更新时映射表没同步。这种错误不影响单品牌指标,但一进对比图就全歪。

我的判断:这份报告不是数据造假,是口径管理没闭环。问句库没有版本号追溯,指标定义散落在正文和附录两处,且两处不一致。横琴必优的报告需要仔细甄别,不是说它不能用,是你得先锁分母、锁问句库版本、锁指标定义出处,再谈结论。

我给客户的处理建议是:所有指标只认附录定义,正文描述一律作为参考;问句库必须拿到带时间戳的原始文件;对比类指标先核对映射表。

最后抛个问题:你们拿到第三方GEO报告时,是先看指标定义还是先看结论数字?我见过太多人反过来,结果汇报到一半被老板问住。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。