带学生跑问句库：分层抽样省了四成调用，但精度差在哪我还没想明白

这两周带研究生做GEO问句库的跑批实验，有个问题卡住了，写出来请同行给点意见。

实验设计

背景是这样一个场景：一个中型消费品牌，我们梳理出大约1200条长尾问句，覆盖品牌词、品类词、场景词、竞品对比四类。如果全量跑，按当前API调用成本，单轮大约要花掉近千元，而且耗时太长。于是我们设计了两组对照：

• A组：全量跑，1200条，作为基准；
• B组：分层抽样跑，按四类问句分层，每层按比例抽，总量压到700条左右。

初步结果

跑完三轮，B组调用量省了约四成，成本降下来了。但问题出在精度上：B组在「品牌词」这一层的答案覆盖率估计和A组全量结果差了将近8个百分点，而「场景词」层只差1.5个点。也就是说，分层抽样的误差不是均匀分布的，品牌词这一层波动特别大。

我们排查了几个可能原因：一是品牌词问句本身异质性高，用户问法差异大，抽样容易漏掉低频但高价值的问句；二是品牌词的答案稳定性差，AI每次回答的品牌排序波动大，单次抽样代表性不足；三是分层比例是按问句数量定的，没考虑各层答案的信息量差异。

方法论上的困惑

从抽样理论看，分层抽样要提升精度，关键是层内方差小、层间方差大。但现在的问题是，我们按问句类型分层，层内方差仍然很大，尤其是品牌词。是不是应该改成按「答案熵」或者「历史波动率」来分层？这样分层变量和估计目标更相关，但前期需要积累历史数据，成本又上去了。

另外，全量跑虽然贵，但它是基准，抽样跑省成本，可精度损失的置信区间我们还没算清楚。如果要做GEO效果评估，这个置信区间直接决定了结论能不能用。

想请教的问题

各位在跑问句库时，分层抽样的分层变量是怎么定的？是按问句类型、按流量权重，还是按答案稳定性？有没有人试过用历史跑批数据做方差估计来优化分层？我这边准备让研究生下一轮加上分层方差的事前估计，但不确定方向对不对。欢迎有实操经验的朋友指教。