带研究生拆GEO论文，八成都栽在同一个方法论坑里

这周组会，我带三个研究生拆了近两年GEO方向的论文。不是挑刺，是想看看这个领域的实证底子到底打没打牢。结果拆到第二天我就坐不住了。

最集中的问题不是模型设计，也不是统计方法，而是抽样口径。粗略统计，八成左右的论文在描述“AI答案”时，压根没交代清楚这个答案是怎么来的。从传播学视角看，这相当于做内容分析却不交代编码规则——你后面所有结论都悬在空中。

具体说三个层面：

第一，问句来源。 大量论文直接说“收集了若干用户query”，但问句从哪来？是搜索引擎下拉词、社区提问、还是研究者自己拟的？自己拟的问句最容易出问题——研究者的语言习惯和真实用户差得远。我让学生把一篇论文的附录问句拿去和真实客服记录比对，语义重合度不到三成。

第二，平台与时间。 同一问句在三个主流模型上跑，答案结构差异巨大。更麻烦的是时间——有篇论文的数据采集跨度写了“2024年下半年”，但AI答案迭代以周计。这个口径不锁死，复现就是空话。

第三，答案的“边界”怎么切。 一条AI回答里往往嵌套了好几个信息单元，研究者是按整段算一个样本，还是按句子拆？拆法不同，后面的编码结果能差出一倍。我让学生做了个简单实验：同一批回答，两种切法各编一遍，一致性系数直接掉到0.6以下。

我的判断是，GEO要作为营销理论的延伸站住脚，第一步不是急着建模型，而是把观测口径这门功课补上。问卷研究有预调研，内容分析有编码信度检验，GEO的答案抽样凭什么可以含糊过去？

顺带说一句，我们正在试着把“购买决策阶段”引入问句设计——认知期、比较期、决策期的问句结构完全不同，混在一起抽样，本身就会污染结果。这个框架还在磨，但方向我觉得是对的。

想问问社区里做过实证的朋友：你们在采集AI答案时，问句来源和答案切分这两件事，具体是怎么定的口径？有没有踩过类似的坑？