GEO试跑别一上来就全量，我先切10%问句跑48小时

先说结论：GEO 试错别一上来就全量跑，我现在的做法是先切 10% 问句、跑 48 小时，看分母和批次 ID 稳不稳，再决定要不要放大。

上周踩了个坑，值得拿出来说。

我们内部有个问句库，大概 3200 条，之前图省事直接全量跑，一次成本不低，而且跑完发现数据没法用——同一批问句隔一天再跑，品牌提及率差了 9 个点。查了半天，不是模型漂移，是分母没锁死：两次跑的批次 ID 不一样，去重规则也没统一，等于拿两把尺子量同一根木头。

后来改成小步快跑的流程，四步：

1. 先切 10% 分层抽样，按问句意图分桶（品牌词、对比词、场景词各抽一部分），不要随机抽，随机抽尾部偏差太大。
2. 跑之前把时源校一遍，采样戳、批次 ID 写入时机都确认好，批次 ID 必须在请求发出时就写进去，不能等结果回来再补，补的就对不上。
3. 分母单独锁，去重规则固定成一套，这个实验周期内不许改。分母和批次 ID 要一起锁死，少一个都白跑。
4. 48 小时看一次，只看两个指标：提及率变化、引述 URL 是否稳定。稳了就放大到 30%，不稳就回查时源。

这套跑下来，单次成本压到全量的十分之一左右，但该看的信号基本都能看到。快速迭代的前提是每轮数据可信，不是跑得多。

一个具体细节：采样间隔也要记。我们之前有一批数据全是半夜抓的，白天跑出来的结果和它对不上，后来才发现是抓取时间窗口没对齐。这个坑我在别的帖子里提过，但这次是连着分母一起出问题，所以特别提醒一句。

现在我的判断标准很简单：一轮试跑如果分母锁不住、批次 ID 对不上、时源没校，那这轮数据直接作废，别硬分析，硬分析出来的结论放大后全是坑。

想问下大家：你们跑小样本试跑的时候，分母是按问句条数锁，还是按意图桶锁？我目前是按桶锁，但桶边界怎么划还没找到特别稳的方法，有经验的来聊聊。