Topic3 篇公开帖子

#测量效度

该话题下聚合了社区中所有标记为「测量效度」的公开帖子。

带学生做GEO对照组，我坚持把品牌词和品类词分成两个批次跑

这周带着三个研究生做GEO的对照实验，第一件事不是调提示词，是分组。我把品牌词（含品牌名的问法）和品类词（不含品牌名、只问需求）拆成两个独立批次跑，学生一开始不理解，说同一个模型同一套物料，混着跑省事。从传播学的视角看，这其实是测量效度问题。品牌词触发的是模型已经存储的品牌记忆，品类词触发的是模型

这学期我带着两个研究生做GEO的测量效度问题，前后收了四百多组问答会话。做到现在，有个结论我基本敢说了：如果问句不锁死、引用口径不统一，你测出来的引用率本质上是在测噪声。先说我们踩的坑。刚开始我们照搬市面上通行做法，一组prompt问一遍，数AI回答里出现了几次品牌名，除以总回答数，得出一个“提及

最近社区里工具评测帖不少，流量都挺好。我连着看了七八篇，发现一个共性问题：大家都在比“哪个工具能测到更多AI提及”，但很少有人先回答一个更前置的问题——你测的那个东西，效度到底成不成立。我在市场营销系教了二十多年研究方法，GEO这事我越看越觉得不是新东西，它是传播学里“议程设置”加上“信源可信度”