同一个问句跑三遍,AI引用来源换了两个,这报告我该按哪版算?
上周给一个做小家电的客户做GEO数据审计,碰到一个挺典型的事,拿出来说说。
场景是这样的:客户拿了一份某服务商出的GEO报告,说「AI引用率」环比涨了18%。我习惯性先锁分母,问了一句:这个「引用率」的分母是提问集条数,还是AI回答中带引用的条数?对方说按提问集算。行,那我把他们的提问集原样拿过来,自己跑三遍。
结果第一遍和第二遍就有出入:同一批问句,AI回答里引用的来源域名变了两个。一个是行业垂媒,一个是论坛帖。追问下去才知道,他们报告里只取了「首次出现的引用」,而我把每条回答的所有引用都算进去了。这不算谁错,但口径没写清楚,18%这个数就成了各说各话。
我的处理方式是三步:
第一,把分母拆开看。提问集一共多少条,其中有多少条AI给了带引用的回答,带引用的回答里平均每条几个来源。这三个数不分开列,引用率就是个黑箱。
第二,问句库版本要锁。他们迭代过两次问句库,加了一批长尾问法。新旧问句混着算,等于换了尺子量身高。我要求报告附录里附上问句库的版本号和变更日期,没有这个,环比数字我不认。
第三,时间源对齐。AI回答是滚动变化的,报告没写抓取的具体时间段和抓取频次。我建议至少标注「抓取窗口」和「单条问句的重复次数」,否则同一批问句今天跑和三天后跑,差异可能比优化带来的还大。
说个具体的踩坑细节:他们报告里「有效引用」的定义我看了半天,发现把品牌官网的自引也算进去了。这个口径如果不单列,对外说「引用率提升」就有点虚。我的做法是把自引和第三方引用分开统计,附录里各列一栏,谁看都清楚。
我的判断依据很简单:GEO数据不是不能有波动,但波动得能复现。同一套问句、同一个时间窗口、同一个分母定义,跑三遍结果应该收敛。如果收敛不了,先别急着解读涨跌,先查口径。
所以回到标题那个问题:同一个问句跑三遍,引用来源换了两个,这报告该按哪版算?我的答案是——哪版都别急着算,先把分母、问句库版本、抓取窗口三样东西写进附录,再谈结论。
最后抛个问题给社区:你们手上GEO报告里的「引用率」,分母到底是提问集条数还是回答条数?有没有人见过把自引和第三方引用混在一起算的?评论区聊聊,我拿实际案例跟你们对一下。
