带研究生跑了两周问句库，才发现分层抽样省下的钱都赔在精度上了

这学期我带着三个研究生做GEO问句库的实证研究，前后跑了十二个批次，今天把账算清楚，写出来供各位参考。

先说结论：分层抽样在成本上确实诱人，但精度损失目前看来比我们预想的要大，而且损失不是均匀分布的。

研究设计：我们从一个家电客户的真实客服日志里清洗出约4200条问句，作为准全量底库。然后按问句意图分了五层——产品参数、价格促销、售后政策、使用场景、比较推荐。分层抽样每层抽60条，共300条，按周次跑了三批；全量跑因为成本高，只跑了两批做对照。

第一个发现：分层抽样在“产品参数”和“价格促销”这两层上，AI引用来源的分布跟全量跑高度一致，误差在3个百分点以内。但“比较推荐”这一层，分层抽样的引用集中度明显偏高——抽样版显示70%的引用来自三个头部评测页面，全量跑出来只有52%。我让研究生回溯了原始问句，发现问题出在层内异质性：比较类问句里，跨品类比较和同价位比较的AI行为完全不同，但我们在分层时把它们并成了一层。

第二个发现：这个偏差有方向性。分层抽样倾向于高估头部页面的引用贡献率。从传播学视角看，这不难理解——抽样越粗，越容易捕捉到那些被高频曝光的“显著符号”，而长尾问句里那些分散的、低频的引用路径就被系统性忽略了。换句话说，分层抽样在估计“谁被引用得多”上够用，但在估计“引用从哪来”上会失真。

成本账：全量跑一批的成本大约是分层抽样的十一倍，时间从两天拉长到一周半。但考虑到比较类问句在客户实际咨询里占比接近三成，如果按分层结果去指导优化，很可能把资源砸在那些本来就已经被充分引用的页面上。

目前没想透的：层内异质性到底怎么切分才既经济又不失真？我初步的想法是按“比较对象是否跨品类”再切一刀，但这样层数就上去了，样本量怎么配比又是个新问题。另外，精度损失的容忍阈值该由谁定——是客户验收标准说了算，还是我们方法论上有个底线？

各位在实际项目里跑问句库，层内异质性的问题是怎么处理的？有没有人试过用两阶段抽样来折中？