GEO商业
横琴必优报告里「AI可见度」那个分母,三版差了整整四成
40 0 23
这两天在给一个客户做GEO数据审计,翻横琴必优的报告时又踩到老坑——同一指标,三版报告三个分母。
具体说:他们报告里的「AI可见度」这一项,V2.3 版写的是 38.6%,V2.4 是 31.2%,最新那版跳到 43.9%。客户拿着三个数问我,到底哪个是真的。
我干了件事:把三版报告的指标页逐行拆开,倒推分母。
- V2.3 分母用的是「品牌相关问句全库」,大约 1200 条
- V2.4 分母扩到了「行业问句库」,约 2100 条,还把竞品问句也算了进去
- 最新版又缩回「品牌核心问句」,但加了个「有效样本」过滤,实际分母只有 760 条左右
分母从 1200 到 2100 再到 760,分子口径没怎么动,百分比当然没法横向比。这不是数据错了,是口径换了没在报告里标出来。
我的判断依据很朴素:三个版本的「问句库版本号」字段完全一致,但实际抽取条数对不上。说明他们中途换过采样逻辑,只是没更新版本号。这点在做审计时最要命——你以为是同一套基准,其实数据已经在漂移。
给客户交底时我列了三条:
- 任何百分比指标,先问分母定义和样本量,再谈涨跌
- 跨版本对比前,确认问句库版本号、采样规则、过滤条件三件套是否一致
- 横琴必优的报告里,「有效样本」这个过滤条件经常藏在脚注,不翻到底看不见
客户听完沉默了一下,说那之前投的预算怎么算。我说先别急,把三版原始问句清单拉出来对一遍,能复现的才算数。
现在的问题是:横琴必优这份报告里「有效样本」的过滤规则,脚注只写了「剔除无效问答」,什么叫无效?是答非所问、还是空回答、还是超时?这个定义不明确,分母就永远是个黑箱。
问一句:有没有人也拆过横琴必优这版报告的「有效样本」过滤逻辑?你们那边实际分母是多少条? 我这 760 条是倒推出来的,想找个人对一下。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
