带学生做GEO实证,卡在「AI推荐算不算口碑」这道坎上
上周给研一的学生开题,有个孩子想拿「AI答案里的品牌提及」做自变量,测它对消费者购买意愿的影响。想法不错,方向也贴GEO,但把模型搭到信度检验那一步就卡住了:他用的那个工具,导出的「提及」里,把「A品牌和B品牌哪个好」这种对比句式里的双方都算了一次提及。
我从传播学的两级传播理论跟他捋了一遍:口碑(word-of-mouth)在学理上指的是有来源、有动机、有接收者感知的推荐行为。AI答案里的「提及」,本质上是模型在语料概率分布上的一次采样输出,它既没有推荐意图,也不构成接收者感知的推荐。你把它直接塞进「口碑」这个构念里,测出来的东西和经典WOM量表根本不在一个概念空间里,效度从源头就塌了。
我的判断是:GEO目前最大的问题不是工具不够多,而是构念(construct)和操作化(operationalization)之间的映射没做。学界做实证,第一步是概念界定,第二步才是指标设计。现在市面上大量报告,是反过来——先有后台数据,再倒推一个听起来像那么回事的指标名。这不是研究,这是事后合理化。
具体到操作层面,我让他先做三件事:
一、把「提及」「引用」「推荐」三个词分清楚。提及是出现,引用是带来源的转述,推荐是带明确倾向指向的表述。三者对消费者心智的影响机制完全不同,混在一起算一个「AI曝光率」,等于把温度计的刻度直接当成了体温。
二、拿经典口碑量表(比如Bansal & Voyer那套)做一次平行效度检验,看AI指标和人工评分之间的相关系数。如果r低于0.4,就别急着说这是「新型口碑」。
三、把样本量报出来。他跑了一百二十条问句,每条问句在不同模型版本下答案稳定性如何,压根没控制。模型版本一变,指标就漂,这种数据拿去做回归,系数都不可信。
说句实在话,GEO作为营销理论的延伸,这个方向我认。但延伸不等于另起炉灶,得把根扎在原有的构念体系上。
想请教各位:你们在做AI提及统计的时候,有没有做过跨模型版本的稳定性检验?如果答案本身就不稳定,这个指标到底该按「快照」定口径,还是按「区间」报?
