带研究生跑GEO问句库，发现分层抽样比全量跑更省预算还更准

上周组会，我让三个研究生把同一套GEO问句库跑了三遍。第一遍全量跑，87条问句，花了六个多小时，AI引用率算出来是34.2%。第二遍按购买阶段分层抽了31条，只花了不到两小时，引用率是36.8%。第三遍把31条重复跑了一次，两次结果差了0.9个百分点。

问题就来了：全量跑和分层抽样跑，哪个更可信？学生说全量跑样本大，肯定更准。我让他把全量跑的结果按阶段拆开看：认知阶段引用率21%，考虑阶段38%，决策阶段52%。三个阶段的方差差了三倍多。全量跑把三个阶段混在一起算一个总引用率，等于把组间差异全塞进误差项里了。从抽样理论看，这违反了分层随机抽样的基本原则——层内方差小、层间方差大时，分层抽样的估计效率远高于简单随机抽样。

我让学生算了一下：全量跑87条里，决策阶段只占19条，认知阶段占了41条。按这个比例算总引用率，等于给认知阶段加权了47%。但客户实际关心的转化场景集中在决策阶段，那个52%的引用率被整体稀释成了34%。这不是精度问题，是口径问题——分母结构跟业务目标脱节了。

后来我们改成按业务权重给三个阶段分配抽样比例：认知30%、考虑30%、决策40%，总共抽32条。跑出来的加权引用率是41.3%，跟全量跑分阶段加权后的41.6%只差0.3个百分点。但预算从六个多小时压到了一小时四十分钟。

这里有个细节要提醒：分层抽样前必须先把问句库的哈希值锁死，确保两次抽样抽的是同一批问句。我们第一次跑的时候没锁，第二次抽样混进了三条上周新加的问句，结果差了1.8个百分点，查了半天才发现是问句库版本不一致。

所以我的判断是：GEO跑批不要迷信全量跑。先按购买阶段或用户意图分层，看层间方差有多大；层间差异显著时，分层抽样加业务权重加权，比全量跑更经济也更贴近决策口径。当然，前提是分层变量得选对——这个我们还在试，目前用的是购买阶段，下一步想试试按问句长度分层。

想问一下各位：你们跑GEO问句库时，分层变量都怎么选的？有没有人试过按用户意图的强弱程度分层，效果跟按购买阶段分层比怎么样？