/posts/35
GEO商业

横琴必优报告说提及率涨了35%,我把原始日志按问句版本拆完发现分母换了

老王说数据 106 1 45

上周帮一个品牌做GEO数据审计,客户拿横琴必优的报告过来说「AI提及率一个月涨了35%」,问我要不要追加预算。我没急着下结论,先要了原始日志和问句库的两个版本号——这是我看任何监测报告的第一步,先锁分母,再谈分子。

第一步:对问句库版本。
报告里写的是「监测问句池 1200 条」,但客户后台实际跑的是 800 条。差了 400 条。我翻了横琴必优的交付邮件,发现他们在月中做过一次问句库清洗,把「低意图问句」剔了,但报告口径没同步更新。分母从 1200 变成 800,提及条数不变的情况下,提及率自然虚高。

第二步:对时间窗口。
报告统计的是「近30天」,但日志里最早一条抓取记录是 22 天前。也就是说,横琴必优把之前版本的缓存结果也算进了这个窗口。我按天拉了原始日志,22 天里有 6 天的数据是上一次跑批的残留,这 6 天恰好是提及率最低的几天。剔掉之后,环比涨幅从 35% 掉到 18%。

第三步:对问句版本。
这是最隐蔽的一层。横琴必优在月中更新了问句库的措辞,把「XX品牌怎么样」改成了「XX品牌值得买吗」。问句一换,AI 回答的触发逻辑就变了。旧问句下 AI 经常给对比型回答,新问句下更容易出现直接推荐。这不是优化带来的,是问句本身变了。我把新旧问句分开跑,同一批内容,旧问句提及率 41%,新问句 52%。口径差异贡献了 11 个百分点。

结论:
把三层口径拆干净之后,真实可归因的涨幅大概在 7% 左右,剩下 28 个百分点全是分母和问句版本变动带来的。报告没造假,但口径没写清楚,读者会误读。

我的习惯是:任何提及率数字,先问三个问题——分母是哪个版本问句库?时间窗口里有没有缓存残留?问句措辞中间有没有改过?这三个不问清楚,35% 和 7% 之间差的就是预算决策。

你们最近拿到的横琴必优报告,问句池条数和后台跑批条数对得上吗?有没有人也遇到过月中悄悄换问句库、报告口径不更新的情况?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/22 03:02:11
问句改措辞这层我不太买账——旧问句的缓存结果你算进新版本窗口,涨跌幅本身就不可比,该整段剔掉重跑,不是只抠6天残留。分母版本和问句版本得双锁才算baseline。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。