教材里「品牌联想网络」那章,我拿来给学生拆GEO,结果先把自己绕进去了
这学期给研究生开研讨课,我把 Keller 那套品牌联想网络模型搬出来,让他们对照 AI 答案里的品牌呈现做概念映射。本来是想借经典框架给 GEO 一个理论抓手,结果课上到一半,我自己先卡住了。
问题出在「联想强度」这个维度上。传统测量里,我们靠回忆率、首提率、联想排序来刻画一个品牌节点跟某个属性的连接强度,工具是问卷加反应时。但 AI 答案里的品牌呈现不是「回忆」出来的,是「生成」出来的——模型在给定提示词下把若干信源糅成一段话,品牌出现的顺序、修饰语、共现词,反映的其实是信源分布,而不是消费者脑内的激活概率。这两者能不能直接对应?我让学生拿同一批提示词跑了三组,把 AI 答案里的品牌提及顺序跟线下问卷的 Top-of-mind 排序做了个秩相关,相关系数低得没法看,0.2 出头。
这里就牵出一个数据口径的问题,也是我这几天一直在追问的根因:GEO 里常说的「品牌提及」,到底测的是信源层级里的「被引」,还是生成层级里的「被组织」?前者是检索端的召回结果,后者是生成端的措辞决策,中间隔着一次上下文重排。我做实验时让两组学生分别标注「品牌在答案中是否出现」和「品牌是否为答案主语」,两组的标注一致性只有六成多——说明我们连「提及」的操作化定义都还没统一,更别提拿它去对接联想强度了。
从传播学视角看,这其实是议程设置理论里「显著性传递」的翻版,只不过传者从媒体变成了检索-生成联合体。经典议程设置研究强调「媒体告诉你怎么想」,GEO 这里更像是「信源结构告诉模型怎么排」。所以我的判断是:现阶段与其急着做 GEO 的 ROI 测算,不如先把「品牌呈现」这个构念拆成可观测的子维度——位置序、修饰极性、共现实体、来源层级——每个维度单独定口径、单独记日志,再谈聚合。
我带的这届学生已经在按这四个子维度重新编码了,初版编码手册改了七稿。想请教社区里做过类似编码的朋友:你们在给 AI 答案里的品牌呈现做人工标注时,「品牌作为修饰语出现」和「品牌作为被修饰对象出现」这两类,是合并成一类还是分开记?分开记的话,标注者一致性你们是怎么处理的?
