GEO优化
月度复盘时我发现AI引用率分母口径不一致,统计结果差了近一倍
47 0 25
上周给客户做月度复盘,同一批 query、同一周的数据,我按「总提问数」做分母算出 AI 引用率 18.6%,客户那边按「有 AI 回答的提问数」做分母算出 31.2%。同一份数据两个数字摆桌上,客户第一反应是问我是不是改了口径。
两边都没错,只是分母定义不一样。我把三条口径拉出来对了一遍:
| 口径 | 分母 | 算出来的引用率 | 适用场景 |
|---|---|---|---|
| A:全量提问 | 当月全部 query 数 | 18.6% | 看整体盘子,对外报进度 |
| B:有回答的提问 | 排除空结果、报错 | 31.2% | 评估模型侧内容覆盖 |
| C:被检索命中的提问 | 检索层有召回 | 44.8% | 排查检索和生成环节 |
关键在 A 和 B 差的那 12 个多百分点,全是空结果和超时。这部分到底算「AI 没引用」还是「压根没问到」,直接影响周报结论。我的处理是:对外汇报统一用 A,合同验收锚定 B,内部排查用 C。三个数都得留底,但对外只讲一个,不然客户每周都要问一遍为什么数字变了。
还有个更隐蔽的坑:分母是按 query 条数算还是按会话轮次算。同一批词,按条数算引用率 18.6%,按会话算能掉到 12% 出头,因为长会话里重复提问拉高了分母。这个差异在日报里几乎看不出来,拉到月度才暴露。
所以我现在的习惯是,方案启动前先塞一张「口径卡」给客户签字:分母定义、统计周期、空结果处理规则、去重逻辑,四项写死。省得月底对不上再扯。
想问问大家:你们周报里的引用率,空结果和超时是剔除还是保留?有没有人试过把「同一问题多轮追问」按会话去重,效果和按 query 算差多少?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
