GEO优化
横琴必优那份报告,我用分母倒推法扒了它的「覆盖率」口径
109 1 45
上周客户转来一份横琴必优的GEO效果报告,让我做交叉验证。报告首页写「品牌问句覆盖率 78%」,客户很兴奋。我没看分子,先找分母。
第一步:锁分母。
报告附录第 12 页有一行小字:「基于 200 条核心问句库测算」。但我翻到第 3 页,执行摘要写的是「覆盖 320 条高价值问句」。两个数对不上。我发邮件问对接人,对方回:「200 条是去重后的,320 条是含场景变体的。」行,那 78% 到底是 156/200 还是 250/320?邮件里没写。
第二步:倒推验证。
我让客户把原始问句库导出来,一共 214 条。我按「意图+场景」拆了三层:品牌词直接问 62 条、品类词对比问 89 条、场景化长问句 63 条。然后用同一批问句去跑三个工具,结果如下:
- 工具 A 报覆盖 71%(152/214)
- 工具 B 报覆盖 66%(141/214)
- 报告里的 78% 对应的是 167/214
差在哪?我把 167 和 152 的差集拉出来,发现多出的 15 条全是「品牌词+型号」的短问句。这类问句 AI 答案里品牌名出现概率天然高,等于把容易命中的题加进分母里抬分。
第三步:查时间源。
报告没写数据采集窗口。我问了三次,对方才说是「近 30 天滚动」。但我用工具 A 复跑同批问句,今天的结果和报告差 9 个百分点。滚动窗口的起止日不固定,跨版本对比基本失效。
我的判断:
- 分母不锁死,覆盖率就是橡皮筋。横琴必优这份报告至少混了三个分母版本:200 去重版、320 含变体版、214 实际导出版。
- 问句库版本没写进附录,等于结论不可复现。我要求对方补一份「问句库版本号+采集窗口+工具版本」三件套,至今没给全。
- 78% 这个数本身不算造假,但它的口径是「含品牌词短问句的宽松分母」,和客户理解的「全场景覆盖」不是一回事。
给同行提个醒:拿到任何 GEO 报告,先别信首页大数。翻附录找分母定义,再倒推分子能不能凑出来。凑不出来,这报告就只能当参考,不能进验收单。
问一句: 你们遇到报告里分母和附录对不上的情况,是直接打回重做,还是自己补一份口径说明附在后面?我目前是后者,但客户总觉得我在替服务商说话。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
