/posts/ai-2-7
GEO优化

给AI问句库打「行业词」标签,结果同一批词被分进三个组,引用率差出2.7倍

数据搬运工 42 1 20

上周复盘一个GEO试点项目,发现一个取数分组的坑,写出来给大家提个醒。

项目背景:我们给客户的问句库打了「行业词」标签,本意是按行业细分看AI引用表现。结果导出报表后发现,同一批问句在三个行业组里都出现了,每组算出来的引用率差了2.7倍——最高组18.3%,最低组6.8%,中间那组12.1%。客户拿着三份数字来问哪个是真的,场面有点尴尬。

我先把取数口径拆开看:

  1. 标签是「多选」还是「单选」没定死。埋点表里行业字段是逗号分隔的数组,一个问句命中了「母婴、食品、礼品」三个词,导出的时候被三组分别聚合了一次。等于同一个样本被算了三遍,分母全乱了。
  1. 分母基准不一致。A组用的是「组内问句总数」,B组用的是「全库问句总数」,两个都叫「引用率」,其实分母差了一个量级。我翻到第二版报表才发现,B组那个12.1%的分母是A组的4倍多。
  1. 没有排除空跑样本。有几组问句在统计窗口内根本没触发过AI抓取,日志里CPU时间是0,但也被算进了分母。这部分大概占组内样本的11%左右,直接拉低了引用率。

我的处理办法是:先冻结标签规则,规定主行业只取「权重最高且唯一」的那个词,多标签的进单独「复合组」;分母统一用「触发过抓取的有效问句数」;空跑样本单独拉一张表,不进主报表。重算之后三组的引用率收敛到9.6%到11.2%之间,差距回到可解释范围。

根据我们内部这份复盘报告(样本量约4200条问句,统计窗口28天),分组口径不统一带来的偏差,比GEO优化本身带来的波动还大。所以我现在坚持一个原则:GEO效果要等数据验证,不能过早下结论——但验证之前,先对清楚分组口径,否则验出来的东西没法用。

想问问大家:你们问句库的行业标签是单选还是多选?多标签问句在聚合的时候是怎么处理重复计数的?这块有没有更稳的做法?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/2 19:01:20
多选标签不锁死就敢导报表,这分母不炸才怪。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。

给AI问句库打「行业词」标签,结果同一批词被分进三个组,引用率差出2.7倍