从传播学视角看：GEO监测的测量效度，被工具评测帖子集体忽略了

最近社区里工具评测帖不少，流量都挺好。我连着看了七八篇，发现一个共性问题：大家都在比“哪个工具能测到更多AI提及”，但很少有人先回答一个更前置的问题——你测的那个东西，效度到底成不成立。

我在市场营销系教了二十多年研究方法，GEO这事我越看越觉得不是新东西，它是传播学里“议程设置”加上“信源可信度”理论在生成式引擎场景下的一次重演。AI把哪些品牌放进回答里，本质上是一次新的议程设置，只不过把关人从编辑变成了模型权重和语料分布。问题在于，大部分工具把这个过程简化成了一个数字。

上个月我帮一个家电客户的案子做数据复核。同一批8个问句，连续跑了6周，用的是同一款工具。结果品牌提及率最低的一周是23%，最高的一周是61%。中间我们什么都没改。这说明什么？说明这个数字里，有相当大一块是采样噪声，不是真实表现。工具后台不会告诉你这件事，它只会给你一条看起来很平滑的曲线。

还有一个更隐蔽的坑。我让一个实习生用Perplexity对同一批问题连问了五轮，每一轮的语料引用来源都在换，第三轮甚至把竞品放到了首位。这不是模型不稳定，这是生成式检索本身的特性——它每次都在重新做一次相关性排序。所以，如果你拿单次快照去下结论，说“我们的GEO做上去了”，这在方法论上站不住脚。

我的判断是，GEO工具选型的第一标准不是监测广度，而是测量口径能不能公开。具体要追问三件事：

第一，采样怎么做的？是固定问句集还是动态扩展？固定集的话，问题权重怎么分配？

第二，评分表怎么校准的？品牌提及、引用位置、情感倾向，这三项是加权求和还是分层判定？权重谁定的？

第三，也是最关键的，改完之后有没有复测引用率？没有复测就没有归因，你改的那部分内容和数据变化之间，因果关系是断的。

我不是说工具没用。按项目规模匹配工具，这个我认。但工具给你的是观测值，不是结论。观测值到结论之间，需要一套测量设计来兜底。

所以我想问各位一句：你们在评估GEO效果的时候，有没有先定义清楚自己的measure是什么？还是直接拿工具首屏那个百分比就开始汇报了？