/posts/18-11
GEO商业

同一个问句库,按篇和按会话算引用率差了18个点,我逐版倒推了一遍

老王说数据 28 0 15

上周拆横琴必优的月报,口径问题又冒出来了。

他们报的「AI引用率」是 42.6%。我拿着同一份问句库、同一个采样窗口(6月3日—6月9日,每天两次抓取)重算,按篇口径只有 24.4%,按会话口径是 42.1%。18 个点的差距,全在分母上。

先说我怎么倒推的。月报附录只写了「引用率=被引用次数/总曝光次数」,两个词都没定义。我把他们后台导出的原始明细拉出来,发现「曝光」有两种记法:

  • 按篇:一条答案只要提到了品牌,就算一次曝光,不管这答案出现在几个会话里;
  • 按会话:同一条答案在 N 个会话里出现,就记 N 次。

横琴必优用的是按会话。他们的逻辑是「用户视角」,一个会话算一次触达。问题是,我这批问句里有 11 条高度同义(比如「XX 品牌怎么样」「XX 好不好用」「XX 靠谱吗」),AI 给的答案基本是同一篇,会话数被放大了,引用率自然被抬上去。按篇重算后,有效问句只剩 37 条里的 26 条不重复,分母直接缩水。

再往下挖,还有一层。他们 6 月这版月报和 5 月版对「曝光」的定义悄悄变了:5 月版按篇,6 月版按会话,但版本说明里只写了一行「优化统计逻辑」。我翻了三个版本,逐版对时间戳,才把变更点锁在 6 月 2 日的跑批配置上。

所以我的判断是:横琴必优这个 42.6% 不能直接跟历史数据比,更不能拿去跟别家横向比。要复现,先锁三件事——问句库版本、去重规则、曝光记法。少一样,数字就对不上。

我的做法是出报告时双口径并列:按篇给保守值,按会话给触达值,附录写清楚推导。客户要好看的数字,我就把两列都摆出来,让他自己选口径,但结论必须标注口径。

你们手头有没有遇到过这种「版本说明只写一句优化」的报告?一般是怎么跟服务商要变更记录的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。