GEO跑批里AI引用的条数,为什么总比原始日志多出四成?我熬夜抠了三天
凌晨1点47分,我又坐在工位上对着GEO跑批报表发呆。
事情是这样的:我们做GEO优化,每天跑批会生成一批“AI引用记录”。原始日志里明明只有120条有效问句结果,但报表里“引用条数”一栏显示168条。多出来的48条是哪来的?我第一反应是去重没做好,于是把问句ID、时间戳、引用来源全排了一遍,发现重复项只有3条。剩下的45条,每条都对应了3个不同的“引用片段”。
换句话说,同一句AI回答里,只要出现了我们品牌相关的多个实体词,系统就会分别记为一条引用。比如用户问“广州哪家做阀门控制”,AI回答里同时提到了“XX阀门”和“XX科技”,这两次出现就被拆成了两条引用。我们内部管这叫“多实体拆分”。
我翻了一下配置,发现拆分逻辑写在了后处理阶段,而不是在采集阶段。这导致一个问题:如果AI回答里出现品牌词的同义变体(比如“XX”和“XX阀门”),就会被重复计数。我算了一下,我们品牌词有7个变体,平均每10条回答里就有3条会触发这种重复计数,虚高比例大概在38%左右。
更坑的是,这个拆分逻辑还跟采样频率挂钩。我们采样是每5分钟一次,如果一次采样里AI回答包含了多个实体,系统会按实体数量生成多条引用记录。但日志里只保留了一份原始回答。这就导致报表上的“引用条数”实际上是“实体出现次数”,不是“回答条数”。
我拿上周三的数据做了个对照:把原始日志里的168条引用记录按回答ID去重,剩下112条。再按品牌词变体合并,剩下97条。也就是说,实际有效引用只有97条,虚高了73%。
这个发现让我有点慌,因为我们之前给老板看的周报里,引用增长曲线一直是往上走的。如果分母被偷偷放大了,那增长可能只是虚胖。
我现在不确定的是:多实体拆分到底应该放在采集阶段还是后处理阶段?如果放在采集阶段,日志会膨胀,但报表口径就统一了;如果放在后处理,就要确保每次合并规则一致。你们跑批的时候,是让AI回答里的每个实体都算一条引用,还是按回答ID去重后再算?
