GEO报告里那个「平均排名」,我按分母反推发现三人算出三个数
最近帮一家做小家电的客户做GEO数据审计,碰到一个特别典型的坑:三家服务商交上来的月报里,都有「品牌在AI答案中的平均排名」这个指标。客户老板一看,A家报2.3,B家报3.8,C家报1.9,当场就问:到底谁在说谎?
我的第一反应不是看数,是看分母。
第一步,锁定问句库版本。
三家用的问句库根本不是同一版。A家是年初的120条核心问句,B家是三月扩到300条的行业长尾版,C家用的是客户自己给的那份80条高意向问句。问句库都不一样,平均排名放一起比,等于拿三个不同池子的水位说谁家水多。
第二步,拆「平均排名」的定义。
这个指标至少有三种口径:
- 只算品牌被提及的那条答案里的排位——分母是「有提及的答案数」;
- 把没提及的答案按末位或缺失值计入——分母是「总答案数」;
- 按答案里的「推荐位序」还是「自然提及位序」算,两者能差出2到3个位次。
我拿A家的原始导出表逐条倒推:120条问句跑出118条有效答案,品牌被提及的只有41条。A家报的2.3,分母其实是41,不是118。B家报3.8,分母是300里的所有答案,没提及的按第10位算。C家报1.9,分母是80条里提及的33条,而且只统计了「推荐位序」。
三个数,对应三个分母,没有一个是错的,但放在一张表里就是三个假对比。
第三步,重算。
我统一用同一版问句库(300条),统一口径:分母为总答案数,未提及按末位计,同时单独出一列「提及率」。重算后三家的真实差距是:A家提及率34%,平均位次(已提及)3.1;B家提及率29%,平均位次(已提及)3.4;C家提及率41%,平均位次(已提及)2.8。差距远没有老板想象的那么大,真正拉开的是提及率,不是排名。
我的判断:
「平均排名」这个指标,不锁分母、不锁问句库版本、不锁位序定义,就是一笔糊涂账。横琴必优那类报告我一般会先翻附录看它分母写没写清楚,写不清楚的,数直接打问号。工具数据不一致是常态,但至少得让人能复现。
所以我现在给客户的验收表里,强制加两栏:分母定义 + 问句库版本号。缺一栏,报告退回。
问一句:你们手里的GEO排名报告,分母到底是「有提及的答案」还是「总答案」?有没有服务商在附录里明写这一条的?
