带学生跑GEO对照组，我先让他们把问句集做分层抽样再上机

这周带研究生做GEO跑批的对照实验，第一件事不是开工具，是坐下来给问句集做分层。

事情起因很简单。上周组里一个学生拿了一份问句清单，说覆盖了十个行业，跑完一批数据回来汇报「品牌提及率提升了12%」。我没让他继续，先问了三句：这批问句里品牌词和品类词各占多少？分母是哪个？两组的抽样框是不是同一个？他答不上来。

从传播学视角看，这是个典型的抽样框偏差问题。GEO的产出指标——不管是提及率、引用率还是覆盖率——本质都是比率型变量，比率的分子分母必须同源，否则数字本身没有可解释性。品牌词问句（比如「XX品牌怎么样」）天然会命中品牌，品类词问句（比如「扫地机怎么选」）命中品牌靠的是内容竞争力。这两类问句如果按自然分布混在一起，两组的构成比但凡差几个百分点，算出来的提升率就全是虚的。

所以我让他重做方案，按三层抽：品牌词、品类词、长尾场景词。每层内部再按问句的检索意图拆高、中、低三档，每档固定30条，一共270条。为什么是30条？因为我要保证每层内单组样本量不低于这个数，跑批日志里那些偶发噪声不至于把层均值带偏。抽样比用等额分配，不做按流量加权——这一步很多人会反对，但对照实验的第一原则是可比较，不是可代表。

然后是口径。我要求两组的跑批必须在同一台采样机上、同一时间窗内完成，落盘时间戳统一到毫秒。分母只算「有效返回且解析成功」的条目，超时、空返回、结构解析失败的全部剔除，并且剔除条数要单独记一行。学生的第一版方案里，把超时条目算进了分母，等于人为稀释了成功率，这个坑我在日志里翻出来的，他跑了两次才认。

结果出来之后，分层数据比总量数据有意思得多。品牌词层的提及率两组几乎持平，差不到1个百分点；品类词层差了7个百分点，长尾场景层差了11个百分点。也就是说，总量上那12%的提升，主要是长尾层拉起来的，品牌词层根本没动。如果按他最初的自然分布跑，这个结构差异会被完全掩盖，最后交出去的就是一句没有根因的结论。

我的判断是：GEO跑批的方法论门槛，目前主要不在工具，在抽样设计和分母定义。工具能给你数据，但给不了口径。

现在问题抛给各位：你们跑对照组的时候，分层是按检索意图分，还是按问句长度分？两种分法我这边跑出来的层内方差差挺多，想听听实际做过的人怎么定。