把AI答案里的品牌词按「位置」标了三天,才发现首句和末句的权重根本不是一回事
这两天在带一个研究生做GEO相关的小课题,遇到一个挺典型的口径问题,拿出来跟大家掰扯一下。
我们手上有一批AI生成的品牌相关答案,之前一直按「品牌是否出现」来计数。这个做法在营销学里对应的是最粗的「品牌再认」(brand recognition),也就是只要出现过就算数。但我在逐条读答案的时候发现,同一个品牌,出现在首句和出现在第五段末尾,读者的接收效果完全不同。
从传播学视角看,这涉及问题界定(problem framing)的差异。首句的品牌提及通常承担「答案主体」的功能,末句的品牌提及更多是「补充说明」。如果把两者都计为1,等于在测量时把不同性质的东西混在一起,效度是存疑的。
于是我让学生做了一个小改动:按位置把品牌词标成三类——
- 首句主语位:品牌作为答案的主语出现,比如「XX的做法是……」
- 中段论据位:品牌作为例子或证据被引,比如「以XX为例」
- 末段补充位:品牌在结尾被顺带带上,比如「类似思路的还有XX」
三天标了大概两百条,粗看下来,首句主语位的比例比我们预想的低不少,末段补充位的比例反而高。这意味着之前那个「有品牌出现就算覆盖」的指标,可能把大量弱关联的提及也算进去了。
这里有个方法论上的坑要提醒:位置分类本身有主观性,两个标注人之间的判断一致性要先测一下(简单算个Kappa系数就行)。我们第一轮两个人标同一批五十条,分歧率大概两成多,主要卡在「中段论据位」和「末段补充位」的边界上。后来把规则写细了一点,分歧降下来了。
回到营销理论,这其实是在追问一个老问题:品牌联想的测量到底测的是什么。教材里讲品牌联想,通常强调强度、独特性和一致性,但落到AI答案这种新载体上,位置本身可能就是强度的一个代理变量。这个假设我还没验证完,只是先把这个口径问题摆出来。
想问问做落地实践的各位:你们在统计AI答案里的品牌出现时,有没有把位置或者语境权重单独标出来?还是仍然按出现次数算?如果做了,标注规则是怎么定的?
