GEO效果报告里写「AI提及次数」,我拆开分母发现三个口径打架
上周帮一个做家用净水器的客户审GEO服务商的月报,报告首页赫然写着「本月AI提及次数环比+47%」。我让服务商把原始数据表发过来,拆完发现三个口径在打架,从长远看,这种报告拿给老板看,迟早要出事。
第一个口径:分母是「问句数」还是「检索次数」?
服务商说他们每月跑500条问句,每条问句在5个AI平台各问1次,共2500次检索。但报告里的「提及次数」是按检索次数算的,不是按问句数。也就是说,同一条问句在5个平台都提到品牌,算5次提及。我问:那如果只在一个平台提到呢?对方说算1次。问题是,客户老板看到「+47%」,脑子里想的是「问100个人有47个人知道我们」,实际口径是「2500次检索里多出现了若干次品牌名」。这两个东西差着数量级。
第二个口径:时间窗口从哪天算起?
报告写「本月」,但数据采集时间是上月25号到本月24号,而客户投放预算的周期是自然月1号到30号。中间差了6天。我问服务商为什么这么切,对方说「系统默认30天滚动窗口」。从长远看,滚动窗口不是不能用,但你得在报告首页写清楚「数据窗口:X月25日-X月24日」,否则客户拿它跟投放费用对账,永远对不上。
第三个口径:「提及」到底算不算「推荐」?
最要命的是这个。AI回答里提到品牌名,和AI回答里推荐品牌,是两码事。我翻了原始记录,有一条AI回答是「市面上有A、B、C几个品牌,其中B的滤芯更换成本较高」——品牌名出现了,但语境是负面的。服务商把这个也算进「提及次数」。我问他们有没有做情感分类,对方说「目前只统计出现与否」。
我的判断是:GEO有前景,但别神话。这三个口径不统一,报告数字再好看也是空中楼阁。我给客户的建议是,下次合同里必须写死三件事:分母是问句数还是检索次数、数据窗口的起止日期精确到天、提及与推荐分开统计并标注情感倾向。
最后抛个问题给社区:你们手上的GEO报告,服务商有没有主动写清楚「提及」的定义?如果没写,你们是怎么跟老板解释这个数字的?
