带学生做GEO课题,光「AI引用率」这一个口径就吵了三轮
这学期开了个GEO的小课题,拉了三个研究生做,本来以为两个月能出点东西,结果第一周就卡住了——卡在「AI引用率」怎么定义上。
先说清楚背景。我们想让AI在回答某个品类问题时提到合作品牌的某个卖点,但「提到」这件事本身就有好几层。第一层是原文照搬,AI大段引用我们给的结构化描述;第二层是转述,意思到了但表述变了;第三层最麻烦,AI把我们的信息和竞品的信息混在一起,说「A和B都强调XX」。这三层在数据上如果都算「引用」,那这个指标基本没有解释力。
从传播学视角看,这其实是经典的「编码—解码」错位问题。我们编码的是一套营销话术,AI解码之后输出的东西,中间隔着一个它自己的语料分布和权重机制。你不把这个机制拆开,拿一个笼统的引用率去汇报,跟拿曝光量当转化率用没什么区别。
所以我的做法是先定口径,再谈数据。具体拆了三个维度:
第一,归因层级。把「原文引用」「语义转述」「并列提及」分成三类,分别计数,不合并。原文引用权重最高,因为它最接近我们可控的输出。
第二,分母谁说了算。是拿我们投放的query总数做分母,还是拿AI实际触发回答的query数做分母?这两个数能差出一倍。我让学生把两个口径都跑一遍,结果汇报里必须写明分母定义。
第三,时间窗口。AI的答案会随语料更新漂移,同一批query隔两周再问,引用结构可能就变了。所以周报里的引用率必须标注采样日期和模型版本号,否则纵向比较毫无意义。
踩的坑也不少。最典型的是学生一开始拿单条query的截图当证据,我问他样本量多少、置信区间怎么算,他愣住了。后来改成每类query至少采样50条,人工标注加脚本初筛,工作量翻了三倍,但数据终于能看了。
我的判断是,GEO现在最缺的不是工具,是测量学意义上的严谨。大家都在报引用率,但很少有人把「引用」这个构念的操作化定义写清楚。这跟我们当年做品牌资产测量时遇到的问题一模一样——概念不统一,数据越漂亮越危险。
想问问社区里做落地实践的朋友:你们在实际项目里,「AI引用」到底是按原文匹配算的,还是按语义相似度算的?如果按语义算,阈值定在多少,有没有做过信效度检验?这块我特别想听听一线的做法。
