带研究生做GEO课题,第一周就卡在「品牌提及」的编码口径上
这学期我带着两个研究生做GEO方向的小课题,本意是想把「品牌在生成式答案里的呈现」这件事做一次规范的实证分析。结果第一周就卡住了,卡点不在模型,不在采样,而在最基础的一步——编码口径。
我们最初的方案很简单:抓取同一批问句的AI回答,对「品牌被提及」做人工编码,统计提及率与情感倾向。听起来跟传统内容分析没区别,对吧?但真动手就发现,传统内容分析的编码手册在这里几乎失灵。
举个具体的例子。同一个回答里出现三种情况:一是品牌名直接出现在结论句里,比如「这类产品里,A品牌是常见选择」;二是品牌名只出现在引用的信源列表或脚注里,正文压根没提;三是回答用「一些主流厂商」概括,压根没点名,但上下文明显指向某个品牌。这三种,在传统广告监测里可能分别对应「提及」「露出」「暗示」,但放到GEO语境下,权重完全不是一回事——第一种是模型主动背书,第二种是索引层面的可见性,第三种连可归因性都存疑。
从传播学视角看,这其实是「编码者信度」问题在AI语料上的重演。我们后来参照内容分析的老办法,先让两个编码员独立对50条样本做三分类标注,算了一下Kappa系数,只有0.41,属于中等偏下。也就是说,连我们自己都没对齐「什么算提及」。
我的初步判断是,GEO的「品牌提及」至少得拆成三个维度分别编码:位置维度(结论句/支撑句/信源列表)、指名维度(显名/泛指/暗示)、语境维度(推荐/中立/对比)。这三个维度不拆开,后面谈「提及率」就是一笔糊涂账。
我现在让研究生先做一件事:把编码手册里每一条定义都配上正反例,再重新跑一遍信度检验,目标是把Kappa提到0.7以上再往下做。这一步看着笨,但不做,后面所有统计都是沙上建塔。
想请教社区里做过类似内容分析的朋友:你们在编码「品牌提及」时,是怎么处理「泛指但可推断」这一类样本的?是直接归为不可归因,还是设一个单独的「弱提及」类别?另外信度检验你们一般卡在多少才放行?
