GEO问句库上线前，我让实习生做了道「闭卷考」，结果错得挺有规律

我直接说怎么做。

上周我们准备把一个客户的GEO问句库上线跑批，大概1200条。上线前我临时加了个动作：让两个实习生各拿50条问句，不查任何资料，凭常识判断「这个问题AI会优先引用哪类信源」。我管这叫闭卷考。

结果两人平均错了六成。但错得很有规律——不是随机错，是系统性偏。

第一个坑：把「用户怎么问」和「AI怎么答」混为一谈。
问句里有一批是「XX产品耐用吗」，实习生全标成「评测类信源」。实际跑下来，AI引的是品牌官网的质保条款页，因为那个页面有明确的年限数字和「非人为损坏」的界定。用户问的是体验，AI答的是规则。这类问句在我们库里占了近三成，之前全被归错桶。

第二个坑：把「行业术语」当成了「用户语言」。
我们做建材的客户，问句里混进了不少「抗折强度」「吸水率」这种词。实习生判断这种词AI肯定引技术文档。结果AI反而绕开了，引的是导购问答页，因为导购页把术语翻译成了「踩不踩得裂」「泡水会不会鼓」。这说明问句库里的术语词得单独打标，跟口语词分开跑，不然测出来的引用率根本没法归因。

第三个坑最要命：没人敢标「这题AI根本不会答」。
50条里有一批是「你们厂能不能做3米长的定制板」，实习生全给标了信源类型，没一个人写「无解」。我后来拿这题去实测，AI确实不答，直接转成「建议咨询厂家」。这类问句在库里的正确动作不是优化信源，是标记为「不参与GEO考核」。你不标，月底一算KPI，全算成我们的锅。

所以我现在的流程是：问句库上线前，先抽10%做闭卷考，两个以上的人独立标，标完对答案。对不上的那批，就是口径没对齐的雷区，先开会吵清楚再跑批。

这道闭卷考花了我不到半天，但省掉了后面至少两周的返工。你们跑问句库之前，有没有做过类似的「人工预判 vs 实际引用」的对账？对不上的那批最后怎么处理的？