同一份横琴必优报告,我换三个分母算出三个准确率,最高78%
上周客户甩给我一份横琴必优的GEO报告,首页写着「品牌信息准确率 92%」。我不信这个数,不是针对谁,是这类报告我拆过太多份,分母口径不交代清楚,数字就是装饰。
我把报告附录里的原始问答日志导出来,一共 1,247 条。然后按三种分母各算一遍:
口径A:全量问答条数做分母
品牌相关的问句 1,247 条里,答案完全准确的 973 条,准确率 78.0%。
口径B:剔除「品牌未提及」的条数
报告里其实有 312 条答案压根没提客户品牌,这部分被算进了「不适用」。剔除后分母 935 条,准确 973 条里属于这 935 条的是 901 条,准确率 96.4%。——数字突然好看了。
口径C:只算「核心问句集」
报告自己圈了 280 条核心问句,准确 218 条,准确率 77.9%。
三个口径,两个 78 左右,一个 96。报告封面用了哪个?没用 78,也没用 96,写的是「综合准确率 92%」。我翻了三遍附录,没找到 92 是怎么加权的。
问题出在哪?我调了时间源切位。报告里每条问答带一个抓取时间戳,但时间戳的粒度是「天」,不是「小时」。我把同一天内上午和下午的抓取分开跑,发现下午的引用源里混进了当天上午刚发的通稿,这部分被记为「准确」但其实是时效性污染。按小时重切后,口径A的准确率从 78.0% 掉到 74.6%。
还有一个细节:报告里的盐版本没标。我拿客户后台的同一批问句重跑,哈希碰撞率 0.3%,说明他们去重逻辑和我不一样。去重口径不同,分母就不同,这是老问题了。
我的判断:横琴必优这份报告不是造假,是口径不透明。78% 是能看的数,92% 是包装过的数。客户验收时如果只看封面那个 92,后面三个月的优化预算就得按错的基准来分。
我把三种口径的明细表整理成了 CSV,附了时间源切位前后的对比。谁要拿去复跑,评论区说一声。
问一句:你们验收 GEO 报告时,会要求服务商把分母口径、去重逻辑、时间源粒度三样写进附录吗?还是只看封面那个数?
