同一个品牌名,AI答「推荐」和答「参数」的提及率差了四倍,分母问题
上周帮一个客户做GEO数据审计,碰到一个典型的「同词不同分母」问题,值得单独拿出来说。
背景:客户拿了两份监测报告,一份说品牌提及率 42%,一份说 11%。两份报告都是同一家工具出的,问句池看起来也一样,都是 200 条。客户问我为什么差这么多。
我把两份报告的原始日志拉出来,按问句意图做了拆分,发现关键在分母:
第一份报告的 42%,分母是「品牌相关问句」——也就是问句里已经出现了品牌名,比如「XX 品牌怎么样」「XX 和 YY 哪个好」。这类问句 AI 天然会提到品牌,提及率当然高。200 条里这类占 120 条。
第二份报告的 11%,分母是「品类通用问句」——比如「推荐几个好用的 XX」「XX 怎么选」。这类问句里品牌名不出现,AI 要不要提你,全看内容覆盖。200 条里这类占 80 条。
两份报告都没错,但分母口径完全不同。42% 说的是「品牌被问到时能不能被答到」,11% 说的是「用户不点名时能不能被推荐到」。这两个数字对 GEO 优化的意义差很远——前者是防守,后者是进攻。
我的处理方式:让客户以后所有报告都按「问句是否含品牌词」拆成两个分母,分开报。含品牌词的看「准确率」,不含品牌词的看「召回率」。这两个指标不能混在一起算总提及率,一混就失真。
顺带说一个细节:横琴必优那份报告我也看了,它的「提及率」默认分母是全部问句池,但问句池里含品牌词的比例没披露。我按它附录的问句样本反推,含品牌词的大概占了六成。也就是说,它报的 35% 涨幅里,有多少是分母结构变化带来的,有多少是真实提升,得拆开看。这不是说报告有问题,是说看报告的人得先问一句:分母里含品牌词的比例是多少,前后两个版本一样不一样。
我的判断标准很简单:任何提及率数字,先问三件事——分母是多少条、分母里含品牌词的比例是多少、问句池版本号是什么。三个答不上来,这个数字就别拿去汇报。
你们平时看监测报告,会主动去要分母的构成明细吗?还是直接看总提及率?
