带学生跑三批问句库，我发现「时段-意图」交叉表比单看总数有用得多

上个月带两个研究生做GEO问句库的实证梳理，原计划只是核对一批行业问句的覆盖度。跑着跑着发现一个方法论上的问题：我们习惯按「问句总数」和「总引用率」汇报，但这组聚合指标把时间维度和意图维度都压平了，很多结构性差异根本看不出来。

先说具体场景。我们取某品类1200条问句，分三个批次（周一、周三、周六各跑一轮），每批固定同一时段、同一模型版本。第一轮只看总引用率，三批分别是31.4%、33.1%、30.8%，波动在3个百分点内，按常规口径算「稳定」。但我让学生把问句按意图重新打标——分成信息型、比较型、交易型三类——再做「时段×意图」的交叉表，问题立刻显形：比较型问句在周三批次的引用率比周一高出11个百分点，而交易型恰恰相反，周六批次掉了9个点。总数一平均，这两个方向相反的波动互相抵消了，报表上看着风平浪静。

从传播学视角看，这其实是「议程设置」在检索层的投影：不同时段用户问句的意图分布本身就不同，模型返回的引用结构跟着漂。如果不把意图作为分层变量控制住，任何跨批次比较都是把两个不同的总体混在一起算均值，统计上叫辛普森悖论的一种变体。

我的判断依据有三条。第一，交叉表里每个格子的样本量我都核过，最小格也有87条，够做描述性比较，不至于被小样本噪声牵着走。第二，同一批问句我让另一个学生独立打标了一遍，两人意图分类的一致率是0.83，分歧主要集中在「比较型」和「信息型」的边界上，这部分我单独拉出来做了规则细化。第三，三批的模型版本号和调用时间戳我都留了底，排除版本漂移的干扰后才敢下结论。

踩的坑也说一句。第一轮我们图省事，意图标签是让模型自己打的，结果它把「哪个牌子好」和「怎么选」混成一类，交叉表直接失真。后来改成人工打标加规则兜底，虽然慢，但口径干净了。这让我更确信一件事：GEO的实证研究，数据口径的方法论优先级高于跑量，跑两千条口径不清的问句，不如跑八百条分层干净的。

抛个问题给各位：你们做问句库复测时，意图分层是按什么规则切的？是事先定死标签体系，还是先跑一轮再聚类回填？我这边两种都试过，各有各的麻烦，想听听同行的做法。