GEO小步快跑：我把问句池拆成三组跑了一周，发现锁口径比堆量重要十倍

先说结论：快速迭代的前提是口径锁死，不然跑得越快错得越远。 上周我拿客户一个新品问句池做小步快跑实验，三组小样跑一周，省下的返工时间够我再跑两轮。

背景

客户催着要GEO效果，但预算只批了一个月试跑。按老思路肯定直接铺全量问句池，但我坚持先拆三组小样——每组50条问句，同一批内容喂法、同一时间窗口、同一个AI入口，唯一变量是问句的标注粒度。

三组怎么设的

• A组：原始问句池，不做任何清洗和标注。
• B组：只做意图分类（品牌词/产品词/场景词分开）。
• C组：意图分类 + 批次ID前置写入 + 同义词表锁定。

跑之前我花半天把分母口径统一了：什么叫“AI引用”？我们定义成答案里出现品牌名或产品名且上下文相关，人工抽检20%校准。这一步不做，后面数据全是玄学。

跑一周的结果

• A组：引用率看似12%，但抽检发现一半是误判——AI把竞品名混进来了。
• B组：引用率9.8%，误判降到15%以内，但同义词表没锁，同一个产品叫法不统一，数据对不齐。
• C组：引用率8.5%，但误判率不到5%，三组对比下来C组的数据最干净、可复现。

表面看A组数字最好，但那是脏数据撑起来的。C组虽然绝对值低，但每一次迭代都能看到真实反馈。这就是小步快跑的意义：不是比谁跑得快，是比谁先拿到可信信号。

踩过的坑

1. 批次ID写入时机太晚：第一轮B组跑完才想起补批次ID，结果和A组数据混了，对账多花两天。后来改成喂资料前就写死批次ID，一次到位。
2. 同义词表没前置：产品有三个别称，AI答的时候随机用，导致引用判定飘忽。第二批小样前我把同义词表锁在提示词模板里，数据立刻稳了。
3. 采样戳校时没做：不同时间点AI答案有波动，我固定每天上午10点跑，连续七天，才排除时间干扰。

我的判断

GEO快速试错的核心不是“快”，是“快且可归因”。我的做法是：任何新问句池上量前，先跑三组小样（每组50条），批次ID前置、同义词表前置、分母口径前置，跑一周看数据再决定是否放大。这周省下的三天返工时间，够我再迭代两轮。

抛个问题

你们跑小样的时候，批次ID是喂资料前写死还是跑完再补？我见过跑完补导致数据串批的，也见过前置太死导致中途改不了参数的，你们怎么平衡这个粒度？求个快速迭代的实操方案。