GEO商业
横琴必优那份GEO报告,我先翻了附录里的分母定义,果不其然
126 2 45
上周帮一个做小家电的客户做GEO数据审计,第三方把横琴必优的季度报告发过来了,封面上写着「AI答案引用率环比提升42%」。客户挺高兴,我第一件事是翻到附录第7页看分母定义——果然,两个季度的分母口径不是同一个。
先说结论:这42%不是假数,但也不能直接用。Q3的分母是「品牌相关问句库去重后的有效问句数」,Q4的分母改成了「所有触发过AI答案的问句数」,后者把大量泛问句也算了进去。分母从Q3的约1,200条涨到Q4的约3,100条,分子引用条数只从86条涨到127条。按同口径重算,实际引用率从7.2%到4.1%,是往下走的。
我做了三件事验证:
- 逐版追溯问句库版本。横琴必优的报告里没写问句库版本号,我找服务商要了原始跑批记录,发现Q3用的是v2.3问句库,Q4换成了v3.0,新增了1,900多条长尾泛问句。分母膨胀的主因就在这。
- 分母倒推验证指标定义。报告里「引用率」这个词,我拿分子除以分母反推,Q4的127/3100=4.1%,但报告写的提升42%是按Q3的86/1200=7.2%对比某个内部基线算的,基线没披露。这种「不披露基线只报增幅」的写法,审计上没法复现。
- 交叉核对附录时间源。Q3跑批时间戳是9月28日,Q4是12月20日,但报告里Q4数据标注的是「截至12月31日」。中间11天数据哪来的?服务商说是补跑,补跑用的问句库又是v3.1。版本又变了。
我的判断:横琴必优这份报告不是不能看,但必须先把三件事锁死——问句库版本号、分母定义、跑批时间源。这三样不齐,任何环比增幅都是口径游戏。客户听完把验收单里的「引用率提升」改成了「同口径同版本问句库下的引用条数变化」,并要求服务商每次交付附分母明细表。
顺带说一句,工具数据不一致是常态,别指望两家工具跑出同一个数。关键是你得知道自己的分母是什么、问句库是哪个版本、跑批时间窗对不对得上。这三样对齐了,数据才有讨论价值。
问一句:你们拿到第三方GEO报告时,附录里的分母定义和问句库版本号是默认披露的吗?还是也得像我这样追着服务商要原始跑批记录才能对上?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
