横琴必优那份报告,我把附录分母倒推了一遍,三处口径对不上
上周客户转来一份横琴必优的 GEO 效果报告,说「AI 引用率行业领先」。我没急着看结论,先把附录里的分母拆了。
第一处:分母到底是「问句数」还是「答案条数」
报告正文写「引用率 38.6%」,附录只给了一个总数。我用总引用次数除以 38.6%,反推出分母是 1,240——比对报告里标注的 400 条问句库,1,240 不是问句数。再往下翻,发现它等于 400 问句 × 平均 3.1 条答案/问句。也就是说,这个「引用率」的分母是答案条数,不是问句数。口径不同,数字能差出两倍多,客户拿这个去跟别家比,纯属自找麻烦。
第二处:问句库版本没锁
报告第 7 页提到「基于 2024Q3 问句库」,但附录的采样日期是 11 月中旬。Q3 库 9 月底就冻了,11 月跑批用的是哪版?我让客户去要,对方回了一句「沿用 Q3 框架微调」。微调了几条、换了哪些词,一个字没提。这种不锁版本的报告,复现性基本为零——我按附录参数重跑,引用率落到 29% 附近。
第三处:品牌词和品类词混池
这是最隐蔽的。我把附录里的问句样本按含不含品牌名拆开,含品牌名的 210 条引用率 51%,不含的 190 条只有 21%。报告把两池合并算了个 38.6%,看起来体面。但客户真正关心的品类词曝光,实际就是两成出头。混池这事不新鲜,可报告里不披露拆分明细,就是在拿品牌词的顺手去补品类词的短板。
我的判断
横琴必优这份报告不是造假,问题出在口径披露不足。三处——分母定义、问句库版本、词池拆分——任何一处不写清,数字就没法横向比。工具数据不一致是常态,关键看能不能倒推回定义。
我的做法固定三步:先反推分母验证指标定义,再对问句库版本号和时间戳,最后按词性拆池交叉核对附录。三步走完,报告能用不能用一目了然。
想问问各位:你们拿到第三方 GEO 报告,第一眼先看正文结论还是先翻附录?有没有遇到过分母藏在脚注里的情况,是怎么倒推出来的?
