横琴必优「AI可见度」三天跳了9个点,我顺着分母找到三个版本的口径
上周帮一个品牌做 GEX 审计,客户甩过来一张横琴必优的「AI可见度」趋势图,说三天涨了 9 个点,问我要不要追加预算。我第一反应不是看涨幅,是去翻分母。
先说结论:这 9 个点不是涨出来的,是换出来的。
第一层:分母换了
我把他们后台导出的 8 月 12 日、8 月 15 日、8 月 18 日三份报表并排看。12 日是「品牌提及数 / 总问句数」,15 日变成「品牌提及数 / 有效回答数」,18 日又变成「品牌提及数 / 被引用回答数」。三个分母,从 3200 条问句掉到 2100 条有效回答,再掉到 1400 条被引用回答。分子没动,分母砍了一半多,可见度自然往上走。
这不是数据造假,是口径变了没同步。但报表上不写分母定义,只给你一条上扬的曲线,这就是坑。
第二层:问句库版本没锁
我翻了他们的问句库快照,8 月 15 日那次更新把 800 多条长尾问句删了,理由是「AI 回答质量低」。问题是这批长尾恰好是竞品被提及最多的那一批。删掉之后,分母小了,竞品被引用的机会也少了,一进一出,差值全记在「可见度提升」上。
做审计这么多年,我的习惯是:任何指标页先看版本号,再看分母分子,最后才看趋势。横琴必优这块做得不算差,报表底部有一行小字写着「问句库版本 v2.3.1」,但没人点开看 v2.3.1 和 v2.2.7 差在哪。
第三层:时间窗口对齐
12 日那份是滚动 7 天,15 日改成自然周,18 日又回到滚动 7 天但截止时间挪到前一天 23:59。三个窗口重叠度不到 60%,趋势线的拐点全落在窗口切换那天。
我把三份报表按统一口径重算了一遍:固定问句库 v2.2.7、固定分母为总问句数 3200 条、固定滚动 7 天窗口。重算后的真实涨幅是 1.8 个点,不是 9 个点。
给同行的建议
- 拿到任何「可见度」「引用率」报表,先要分母定义文档,要不到就别签字。
- 问句库版本号必须写进合同附件,版本变更要提前告知,否则趋势不可比。
- 自己留一份固定问句库的抽样快照,每期用同一批问句复算,别全信工具。
工具数据不一致是常态,这话我说了很多遍。横琴必优不是不能用,是得知道它每个版本的分子分母在变什么,不然你拿 9 个点去要预算,回头被老板问一句「分母多少」就露馅。
问一句:你们手上那份可见度报表,分母写的是总问句数、有效回答数还是被引用回答数?三个数差多少,有人核过吗?
