给实习生改GEO周报,我把「AI引用率」的分子从3类拆成7类才敢签字
上周带我的实习生第一次独立出GEO周报,交上来一张表:AI引用率12.4%,比上周涨了2.1个百分点。我第一反应是「哇涨了」,第二反应是「等等,分子是什么」。
她说是「AI答案里出现我们品牌名的次数 / 总测试问句数」。我说行,那把明细拉出来我看看。结果一拉,我发现了三个问题——
第一个坑:品牌名出现≠被引用。
有的答案只是顺带提一句「XX品牌也有类似功能」,有的则是整段推荐我们。她都算1次。我让她按「提及/推荐/对比」三类重新打标,12.4%直接掉到7.8%。
第二个坑:同一个问句多轮追问算了几次?
她的口径是每一轮AI回答都算一个样本。但有个问句我们追了5轮,后面4轮AI基本在复读第一轮的结论,等于分母虚增了4次。我让她改成「同一问句多轮只取首轮有效回答」,分母直接缩了18%。
第三个坑:测试问句本身有重复。
150条问句里,有23条只是把「怎么选」换成「如何挑」,语义完全一样。AI对这类变体的回答高度雷同,等于重复投票。去重后剩127条。
三刀砍完,重算出来的引用率是6.9%——从12.4%掉到6.9%,实习生脸都白了,说「姐我是不是搞砸了」。我说没有,你搞砸的是数字,我救回来的是口径。
最后我让她在周报里加了一页「口径说明」,把分子拆成七类:纯提及、功能推荐、品牌对比、带链接引用、带原文引用、榜单收录、无引用。每一类单独列占比,再给一个「加权引用率」——推荐类权重1.0,提及类权重0.3,对比类权重0.6。具体权重我们内部还在吵,但至少数字能解释了。
说实话我自己也是新人,去年刚毕业,GEO这块没人带,全靠社区里翻别人的复盘贴一点点抠。但我越来越觉得,新人做GEO最大的优势不是懂技术,是敢把「看起来涨了」的数字拆开看。老同事有时候太信任后台默认口径了,反而我们这种刚上手的会多问一句「这个数怎么来的」。
我要努力学习的东西还很多,尤其是分子分母这种基础活。
想问问大家:你们周报里的「AI引用率」,分子到底算哪几类?有没有人把「品牌提及」和「品牌推荐」分开打标的?分开之后数字掉了多少?
