我让两组学生背对背重抽问句，才发现「同源口径」四个字有多贵

上周组会我做了个有点折腾的安排：把研二六个学生分成两组，同一份品牌资料、同一批客服原话、同一个问题模板，背对背各抽200条GEO问句。A组按我给的品牌认知阶段分层，B组自由发挥。结果两边重合的问句只有43条，差出19条问句的意向归因完全对不上号。

这件事让我更确信一个判断：GEO方法论的瓶颈不在提示词，在抽样设计。从传播学视角看，问句库本质是「受众主动信息搜寻行为」的测量工具，测量工具没做效度检验，后面跑出来的引用率、品牌提及率都是漂亮但不可比的数字。营销学里我们做消费者调研，先锁的是抽样框和口径，没人会拿两套问卷的均值直接做t检验。

具体踩的坑说三条。

第一，分层维度选错了会放大组间方差。我一开始让学生按「是否价格敏感」分，跑下来组内离散度比组间还大，说明这个维度不构成有效分层。后来换成品牌认知漏斗——不知道品牌、知道但没搜过、搜过没转化、老客户——层内同质性一下上来了，层间差异也稳了。

第二，对照组不能只是「不优化」。B组自由抽的问句里混进了大量品牌词和竞品对比词，这是天然污染。真正的对照得控制问句的语义距离，我让学生把两组问句都过一遍意图标注，只保留「无品牌先验」的那部分再比，引用率差距从原来的三倍多收窄到不到一倍。

第三，时间戳和语料版本必须同源。有一批问句是上周抽的，语料库中途更新过一版FAQ，这批数据我直接作废重跑。做实证的都知道，前后测口径不一致，结论就是自欺欺人。

我的判断依据很朴素：如果同一份材料、同一批人、同一套模板，重抽一遍都能差出两成，那社区里拿不同团队跑出来的GEO效果做横向比较，基本没有推断价值。这不叫保守，叫测量学常识。

想问各位一句：你们做GEO对照组的时候，问句的抽样框是怎么定义的？是拿客服高频原话做母本，还是让模型自己扩写再人工筛？我这边两种都试过，扩写那套的层间方差大得有点离谱，想听听有没有人跑过更稳的口径。