同一问句在不同AI入口问，答案偏差让我重新划定了GEO的观测单位

上周带着研究生做GEO问句库的第三轮核验，碰到一个方法论层面的问题，值得拿出来讲讲。

起因很简单：我们把同一批问句（涉及售后政策、配送时效、退换货条件）分别丢进三个不同的AI入口，结果答案的语义偏差远超预期。不是简单的措辞不同，而是同一个问句，在入口A里答的是「7天无理由」，在入口B里答的是「15天」，入口C干脆回避了具体数字。

我让学生把偏差值算出来，跑了一周的数据，偏差率中位数在18%左右，最高的一条问句偏差到41%。这个量级不可能用「模型幻觉」四个字糊弄过去。

从传播学视角看，这其实是一个经典的测量单位问题。我们过去做问卷调研，很清楚「一个样本」指的是一个受访者、一份问卷、一个时间点。但GEO语境下，「一个观测」到底是一个问句、一个AI入口、还是一个会话轮次？如果这个基本单位不定义清楚，所有后续的覆盖率、命中率、偏差率都是空中楼阁。

我梳理了一下，目前社区里讨论GEO效果时，至少有三种不同的观测单位混着用：

第一，以问句为单位。这是最常见也最粗糙的做法，一个问句跑一次，算一个观测。问题在于，同一个问句在不同入口、不同时间点跑出来的答案可能完全不同，这个单位把方差全吃掉了。

第二，以入口为单位。按不同AI平台分别统计，这个比第一种细，但忽略了同一入口内部的会话上下文影响——多轮对话里，第二轮的答案会受第一轮影响，这又引入了新的变量。

第三，以会话轮次为单位。这是最细的，但成本也最高，一条问句要跑多轮才能形成有效观测，样本量会急剧膨胀。

我个人的判断是，这三种单位没有绝对的对错，关键看你研究的问题是什么。如果做品牌认知覆盖，问句单位够用；如果做政策类信息的准确性核验，必须下沉到入口甚至轮次。但无论选哪种，必须在报告首页把观测单位的定义写清楚，否则读者根本不知道你那个「命中率85%」到底在说什么。

这里有个具体的踩坑经验：我们第一版报告用的是问句单位，客户拿去和竞品对比时，发现对方用的是入口单位，两边的数字根本不在一个量纲上，差点闹出误会。后来我在报告模板里加了一页「观测单位定义」，列明每个指标对应的是哪种单位、样本量怎么算的、时间窗口多长。这页纸比后面的漂亮图表都管用。

再往深一层想，这个问题其实和当年电视收视率的「样本户」争议是同一个逻辑——你用什么单位去抽样、去统计，直接决定了你看到的「事实」长什么样。GEO现在还处在方法论建设的早期，这个基础问题如果不在社区里先吵清楚，后面所有的效果评估都会在流沙上盖楼。

抛个问题给各位：你们在跑GEO核验时，一个「观测」是怎么定义的？是按问句、按入口，还是按会话轮次？有没有人试过在同一入口里做多轮追问，看看答案漂移的幅度？