把GEO问句库的「场景标签」和「意图标签」混着用，跑了半个月才发现分母是错的

上周把学生分组跑的对照数据收上来，碰到一个典型问题：问句库的标签体系里，「场景标签」（比如「装修前」「换季」）和「意图标签」（比如「比价」「求推荐」）混着用，结果算引用率的时候，同一个问句在两套口径下被切进不同分母，数据对不上。

具体说，学生A按场景把「装修前问地板」归到「售前场景」，学生B按意图把同一句归到「信息搜集」。两边各自算引用率，一个报32%，一个报19%。差出13个点，乍看像模型不稳定，实际是标签口径没锁死。

我让他们做背对背重抽：同一批问句，两人独立打标签，再交叉核对。结果一致性只有0.61，Kappa系数偏低。说明标签定义本身有歧义——「装修前」到底是时间场景还是决策阶段？「比价」是意图还是行为？不先把定义写清楚，后面所有数字都是浮沙。

从传播学视角看，这是典型的编码信度问题。内容分析里做编码员间信度检验，就是为了防止这种「各打各的标签」。GEO问句库本质上是把用户语言编码成可分析单元，编码手册不统一，分母就永远在漂。

我的处理办法是：先出标签手册，每个标签给两个正例、一个反例，再跑一轮背对背，一致性到0.8以上才允许进正式批次。另外，场景标签和意图标签必须分字段存，不能混在一个维度里。跑批次的日志里要记标签版本号，否则回头查都没法归因。

踩过的坑说一个：早期没分字段，学生把「换季买空调」既标场景又标意图，导出时字段冲突，脚本直接报错，白跑了两天批次。后来改成两列独立字段，问题才消。

这事让我更确信，GEO不是新东西，是营销研究里测量效度的老问题换了个壳。标签体系不先做信度检验，谈优化都是空的。

想问各位一句：你们做问句库的时候，场景维度和意图维度是分表存还是合表存？有没有人跑过编码员间信度，一致性大概到多少才敢用？