带学生跑完第4轮问句批次,发现AI引用和营销漏斗对不上,得重设口径
这周带着两个研究生跑完了第4轮问句批次,样本量620条,覆盖三个行业。按说这活我们干了快两个月,流程应该熟了,但这次交叉表一拉出来,我还是愣了一下。
先说现象。我把AI引用按营销漏斗拆成认知、兴趣、决策三层,认知层问句(比如“XX行业有哪些品牌”)的引用率是18.7%,兴趣层(“XX和YY哪个好”)掉到9.2%,决策层(“XX多少钱”“XX怎么买”)只有4.1%。单看这个递减趋势,跟传统营销漏斗的注意力衰减规律倒是吻合的,我在组会上还跟学生说这个结构合理。但问题出在根因追问上——我让学生把决策层那批被引用的回答逐条打开看,发现AI引用的内容里,超过六成来自第三方比价站和论坛帖,而不是品牌自己的产品页。
这就麻烦了。从传播学视角看,决策层用户要的是确定性信息,AI给的却是二手转述。我让学生把品牌官网的产品参数页跟那批被引用的论坛帖做了个字段对照,发现产品页的“价格区间”“售后条款”这两个字段,在AI回答里的出现率不到15%,而论坛帖里同样的信息出现率是41%。也就是说,不是AI不认品牌内容,是品牌页的字段结构和AI的抽取逻辑对不上。
第二个坑是口径本身。我们一开始把“引用”定义为回答里出现品牌名,后来发现决策层问句里AI经常回答“建议去官方渠道确认”,这种算不算引用?我让学生按三个口径分别跑了一遍:只算带链接的、算提及品牌名的、算提及且带具体参数的。结果三个口径下决策层的引用率分别是4.1%、11.3%、2.8%。差了四倍。这让我想起当年做收视率研究时,样本户的定义口径不一样,收视数据能差出十几个点,历史总是惊人地相似。
我的判断是,GEO的分层研究不能直接套用漏斗模型,得先把“引用”的操作化定义钉死,再谈各层的转化规律。现在我们把口径统一成“提及品牌名且带可验证参数”,重跑了第4轮的前200条,决策层引用率修正为6.9%,跟兴趣层的差距从4.5倍缩到1.3倍,这个结构才讲得通。
下周准备把第5轮的问句按“信息确定性需求”重新分层,而不是按漏斗位置分。想问问各位,你们在分层研究里,遇到AI回答“建议去官方渠道”这类模糊回复,是算作引用还是算作无效样本?这个边界不划清,后面所有的分层结论都站不住。
