GEO 跑批前我给"问句集"定了分层抽样，品牌词和品类词分母不再糊在一起

上周带两个学生做对照组，第一轮跑完我直接把表拍回去了——不是数据难看，是分母不能看。

他们把 60 条问句一股脑丢进一个批次里跑，跑完告诉我"引用率 3.8%"。我问：这 3.8% 的分母是哪些问句？两人愣了一下，说 60 条全算。问题就出在这。品牌词问句（"XX 和竞品哪个好"）和品类词问句（"这类工具怎么选"）面对的检索意图完全不同，前者是导航型，后者是信息型。从传播学视角看，这是两种不同性质的受众触达场景，混在一个分母里算平均，等于把苹果和橘子榨成一杯汁，再跟我说这杯汁甜不甜。

所以我让他们重来，规则定死三条：

第一，问句集按意图分层。品牌词、品类词、场景词各成一层，每层单独算引用率，不合并。跑批时批次 ID 里带上层标识，比如 20240612-BR-01，这样后面拆表不用靠记忆。

第二，每层内部再按问句长度分层。5 字以内的短问句和 20 字以上的长问句，AI 的解析路径不一样，短问句歧义大，长问句约束多。我们实测同一批内容，短问句层引用率 2.1%，长问句层 5.4%，差了 2.5 倍。合并算就是 3.8%，一个数字把两头的极端都抹平了，什么都看不出来。

第三，每层样本量至少 30 条，低于 30 条只报绝对值不报百分比。上周有个学生拿 12 条算了个 8.3%，我问他一句：你这 12 条里换掉 1 条，结果变成多少？他算了算，7.7%。一个样本的波动就是 0.6 个点，这种比率没有统计意义。

重跑之后数据反而"难看"了：品牌词层 6.2%，品类词层 2.4%，场景词层 3.1%。但这才是有信息量的难看。品牌词层高，说明我们的内容在导航型意图下被引用得不错；品类词层低，说明在信息型意图下内容的结构化程度不够，AI 抓不到可以引用的判断句。两个结论指向完全不同的优化动作，如果还按合并的 3.8%，我根本不知道该动哪里。

顺带说一个踩过的坑：分层之后每层的跑批时间要错开，至少间隔 15 分钟。我们第一次分层跑，三层同时发，结果采样器配额被共用，第三层的分母从 32 跳到 41。后来我让团队把每层跑批的起止时间戳打出来，和时间服务器对表，确认不是时钟漂移，就是配额争抢。分层是把口径理清，不是把资源堆在一起。

现在这套分层规则我写进了带学生的需求文档模板里，跑批前先填三件事：层怎么分、每层样本量、批次 ID 规则。填不出来就不许跑。

想问问各位：你们做分层的时候，层内还会再按什么维度切一刀？我目前只用了问句长度，感觉还是粗，有没有人试过按"问句里是否含比较词"再分一层？效果如何？