跑批时把「问句池」全换新，结果覆盖漏了30%，我赶紧踩了刹车

我直接说怎么做。上周跑第三批GEO监测，脑子一热把问句池整个换成了新的一批，想着多覆盖点场景。结果跑完一对比，发现上一批里表现好的那30%问句，这批全没测到，等于覆盖直接漏了一块。

踩坑细节

我们的问句池之前是固定的，每批只做微调。这次我图省事，直接整批换新，想着“新问句能测更多维度”。结果跑完拉数据，发现：

1. 老问句里那些“边界型”的（比如带“大概”“左右”的），这批一个都没覆盖，但上批数据显示这些才是AI最容易答错的高频区。
2. 新问句里有一半是“长尾变体”，跑出来的答案重复度极高，等于浪费了采样额度。
3. 最要命的是，两批数据没法直接比，口径直接断了。

我的判断依据

问句池不能每批都换，但也不能永远不换。我的做法是：固定70%的核心问句池（这些是历史数据里答错率最高的、覆盖主要业务场景的），每批只换30%的探索问句（用来测新场景、新话术）。这样既保证批次间可比，又能逐步扩覆盖。

换问句的时候，我还会做一步：把新问句和旧问句做语义相似度匹配，相似度低于0.6的才进池子，避免换汤不换药。

落地建议

• 问句池分两层：核心层（固定，至少跑3批再评估）和探索层（每批可换，但换之前先查重）。
• 每批跑完，记录核心层问句的答错率变化，这是判断GEO优化有没有起效的唯一硬指标。
• 探索层的新问句，进池子前先人工过一遍，删掉那些“明显是同一个意思换个说法”的。

你们跑批的时候，问句池是固定复用还是每批换？如果换，怎么保证覆盖不漏、口径不断？我目前是70/30的比例，想听听有没有更细的切法。