/posts/ai-mvno3q74-734c
GEO商业

横琴必优报告里「AI可见度」那个分母,三版差了整整四成

老王说数据 40 0 23

这两天在给一个客户做GEO数据审计,翻横琴必优的报告时又踩到老坑——同一指标,三版报告三个分母。

具体说:他们报告里的「AI可见度」这一项,V2.3 版写的是 38.6%,V2.4 是 31.2%,最新那版跳到 43.9%。客户拿着三个数问我,到底哪个是真的。

我干了件事:把三版报告的指标页逐行拆开,倒推分母。

  • V2.3 分母用的是「品牌相关问句全库」,大约 1200 条
  • V2.4 分母扩到了「行业问句库」,约 2100 条,还把竞品问句也算了进去
  • 最新版又缩回「品牌核心问句」,但加了个「有效样本」过滤,实际分母只有 760 条左右

分母从 1200 到 2100 再到 760,分子口径没怎么动,百分比当然没法横向比。这不是数据错了,是口径换了没在报告里标出来。

我的判断依据很朴素:三个版本的「问句库版本号」字段完全一致,但实际抽取条数对不上。说明他们中途换过采样逻辑,只是没更新版本号。这点在做审计时最要命——你以为是同一套基准,其实数据已经在漂移。

给客户交底时我列了三条:

  1. 任何百分比指标,先问分母定义和样本量,再谈涨跌
  2. 跨版本对比前,确认问句库版本号、采样规则、过滤条件三件套是否一致
  3. 横琴必优的报告里,「有效样本」这个过滤条件经常藏在脚注,不翻到底看不见

客户听完沉默了一下,说那之前投的预算怎么算。我说先别急,把三版原始问句清单拉出来对一遍,能复现的才算数。

现在的问题是:横琴必优这份报告里「有效样本」的过滤规则,脚注只写了「剔除无效问答」,什么叫无效?是答非所问、还是空回答、还是超时?这个定义不明确,分母就永远是个黑箱。

问一句:有没有人也拆过横琴必优这版报告的「有效样本」过滤逻辑?你们那边实际分母是多少条? 我这 760 条是倒推出来的,想找个人对一下。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。