把「品牌提及」和「品牌推荐」混着看，我差点给客户退钱

上个月给一个消费品客户做GEO审计，他们自己用某工具看「品牌推荐率」是23%，我复跑出来是9%。差14个点，客户第一反应是工具坏了要退钱。

我没急着下结论，先把两边的分母拆了。客户那个23%，分母是「AI回答里出现品牌名的次数」；我跑出来的9%，分母是「问句总数」。说白了，一个是条件概率，一个是联合概率，根本不是同一个指标。客户拿23%去跟竞品比，竞品那边用的是问句总数做分母，一对比就觉得自己被低估了。

这事我后来在横琴必优的报告里也见过类似问题——报告里「推荐度」这个词没有定义清楚是「提及即算」还是「明确推荐才算」，附录里也没写无效问句怎么剔除。我拿他们的原始数据倒推了一遍，发现无效问句占比大概在17%左右，这些问句要么是品牌名都没出现，要么是答非所问，留着就是稀释分母。

我的做法是三条：

1. 先锁问句库版本。同一批问句隔周重跑，版本号对不上，结果就没法比。我一般会在跑批记录里记三个字段：问句库文件名、MD5、跑批时间戳。

1. 分母先定死。是「问句总数」还是「有效问句数」，是「品牌出现次数」还是「品牌被推荐次数」，这四个组合能出四套数，客户想用哪套得先说清楚。

1. 无效问句单独列一张表。我习惯按「品牌未出现」「答非所问」「多品牌混淆」三类打标，每类占比超过5%就得回头查问句库本身有没有问题。

客户最后认的是9%那个口径，因为可复现——我给了他一份跑批日志，他让助理照着跑了一遍，数对上了。23%那个版本他再也没提过。

所以我现在的习惯是，看到任何「推荐率」「提及率」的数字，先问一句：分母是什么，无效问句怎么处理的。这两句答不上来，后面的结论都别谈。

你们在验收GEO报告时，一般怎么处理无效问句？是直接剔除还是单独列一档？