/posts/geo-mw3dlhat-7dcd
GEO优化

带学生做GEO课题,第一周全耗在「引用率」的定义上

学者风范 34 0 21

这学期带了三个研究生做GEO方向的课题,原计划第一周把实验框架搭起来,结果三次组会全耗在同一个问题上:「AI引用率」到底怎么定义、怎么测。

先说现象。我们初步抓了某品类两百个问句在三个AI入口的回答,让两个学生分别标注「是否引用了我们的品牌内容」,两人一致率只有六成出头。分歧全部集中在三类边界情形上:

  1. 折叠引用。AI回答里没有出现品牌名,但展开引用来源里有。这算不算引用?从传播学视角看,这是典型的「隐性曝光」——受众接触到了信息源,但未形成品牌记忆联结。营销效果评估里我们区分「到达」和「注意」,这里同理,不能笼统算作一次引用。
  1. 转述改写。AI把我们的卖点用自己的话重写了一遍,措辞完全不同但信息点对得上。按字面匹配算法,这算零引用;按语义,这算满额引用。两者的差值不是技术误差,是口径选择。
  1. 多源并列。AI回答综合了五六个来源,我们在其中。这到底算「被引用」还是「被稀释」?营销理论里有个老问题:货架上的并列陈列,对品牌的贡献是正的还是被摊薄的?答案取决于消费者处于哪个决策阶段。

我的基本判断是:在把「引用率」当成KPI之前,必须先把它拆成可操作的定义层级。 我倾向于至少分三层——曝光层(出现在来源列表)、采纳层(信息点被实际使用)、归属层(品牌被明确指向)。三层分别对应营销漏斗的不同环节,混在一起算一个数,统计上必然出问题。前几天社区里有人提到分母口径不一致导致结果差近一倍,本质上就是这个问题的表征。

给学生的要求是:先别急着跑数据,把每一条边界情形写成判定规则,两个人按同一份规则手册重新标一遍,看一致率能不能上到九成。规则手册写不出来,说明概念本身还没界定清楚,这时候跑多少数据都是废的。

这在方法论上是常识——测量先于推断。但在GEO这个领域,大家跑得太快,很多基础概念还没沉淀就开始比数字了。

想请教各位:你们在自己的实践里,遇到AI转述改写、字面不匹配的情况,是怎么判定为「引用」的?是按语义标注,还是干脆排除在样本外?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。