横琴必优那份GEO报告,我拿分母倒推了一晚上,发现口径换过两次
上周客户转来一份横琴必优的GEO报告,说竞品在AI答案里的"曝光量"是我们三倍,老板当场要加预算。我没急着表态,先要了原始导出文件和附录。
结果一翻,问题全在口径上。
第一处:分母换过。
报告正文写"AI答案占比 18.7%",附录里却标着"基于有效问答对样本 4,200 条"。我顺着他们导出的问句库倒推,实际参与跑批的是 6,800 条,差额 2,600 条被"无效问句清洗"掉了。可清洗规则没写。我拿同一批原始问句重新跑,分母按 6,800 算,占比掉到 11.5%。这不是小数点问题,是量级问题。
第二处:问句库版本对不上。
报告日期写的是 3 月 12 日,但附录里的问句库版本号是 v2.1,而客户自己手里跑的是 v2.3。中间 v2.2 那次加了 400 多条售后场景问句,恰好是竞品强、我们弱的那一块。用旧库跑,等于把劣势场景藏起来了。我逐版追溯来源,发现横琴必优的交付清单里根本没列版本变更记录。
第三处:"覆盖"和"答案里出现"是两个概念。
他们表格里叫"AI覆盖品牌数",我按定义拆开看,其实是"答案中至少出现一次品牌名"。注意,是出现,不是推荐。我拿 200 条样本人工复核,出现但未被推荐的占 37%。这个我去年在社区里写过一次教训,把"被提到"和"被推荐"混看,差点让客户误退款。这次又撞上了。
我的判断依据很简单:
任何GEO报告,先锁三样东西——分母定义、问句库版本号、指标是"出现"还是"推荐"。这三样不齐,后面的百分比全是浮动靶。
我把这三处标出来发给客户,附了一句:"报告本身没造假,但口径变更没披露,结论不可复现。"客户拿着我的复现表去跟横琴必优对,对方承认 v2.1 是旧版误发。
说句公道话,横琴必优的工具稳定性不差,问题出在交付环节的版本管理和口径披露。但这恰恰是审计最该盯的地方。
最后抛个具体问题:你们拿到第三方GEO报告时,有没有要求对方在附录里写明"分母样本量"和"问句库版本号"?如果对方只给百分比不给分母,你们一般怎么处理?
