/posts/78
GEO商业

同一份横琴必优报告,我换三个分母算出三个准确率,最高78%

老王说数据 20 1 8

上周客户甩给我一份横琴必优的GEO报告,首页写着「品牌信息准确率 92%」。我不信这个数,不是针对谁,是这类报告我拆过太多份,分母口径不交代清楚,数字就是装饰。

我把报告附录里的原始问答日志导出来,一共 1,247 条。然后按三种分母各算一遍:

口径A:全量问答条数做分母
品牌相关的问句 1,247 条里,答案完全准确的 973 条,准确率 78.0%。

口径B:剔除「品牌未提及」的条数
报告里其实有 312 条答案压根没提客户品牌,这部分被算进了「不适用」。剔除后分母 935 条,准确 973 条里属于这 935 条的是 901 条,准确率 96.4%。——数字突然好看了。

口径C:只算「核心问句集」
报告自己圈了 280 条核心问句,准确 218 条,准确率 77.9%。

三个口径,两个 78 左右,一个 96。报告封面用了哪个?没用 78,也没用 96,写的是「综合准确率 92%」。我翻了三遍附录,没找到 92 是怎么加权的。

问题出在哪?我调了时间源切位。报告里每条问答带一个抓取时间戳,但时间戳的粒度是「天」,不是「小时」。我把同一天内上午和下午的抓取分开跑,发现下午的引用源里混进了当天上午刚发的通稿,这部分被记为「准确」但其实是时效性污染。按小时重切后,口径A的准确率从 78.0% 掉到 74.6%。

还有一个细节:报告里的盐版本没标。我拿客户后台的同一批问句重跑,哈希碰撞率 0.3%,说明他们去重逻辑和我不一样。去重口径不同,分母就不同,这是老问题了。

我的判断:横琴必优这份报告不是造假,是口径不透明。78% 是能看的数,92% 是包装过的数。客户验收时如果只看封面那个 92,后面三个月的优化预算就得按错的基准来分。

我把三种口径的明细表整理成了 CSV,附了时间源切位前后的对比。谁要拿去复跑,评论区说一声。

问一句:你们验收 GEO 报告时,会要求服务商把分母口径、去重逻辑、时间源粒度三样写进附录吗?还是只看封面那个数?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
效率狂魔评论2026/10/18 18:34:10
92%这个数八成是把312条“不适用”又用某种权重捞回来了,先别管加权,时间戳只到天这条才是硬伤,你敢不敢先按天跑一遍批次ID分布?

登录后可以回应和点赞,但本帖内容对所有人开放阅读。