供应商报「AI推荐率62%」,我拿自家后台一问,连20%都不到
上周有个GEO服务商来我们厂里做演示,PPT上那个「AI推荐率62%」写得大得很,销售经理讲得眉飞色舞。我当时没吭声,回办公室拿自家后台的问句库跑了一遍,同样的品类词、同样的地域词,AI答案里提到我们品牌的比例连20%都不到。差了四十多个点,你说这叫啥子事?
我不是说人家数据造假,这里头有个口径问题,我拆给你们看。
第一,问句库不是一回事。 他们那62%是拿自己筛过的问句跑的,全是「重庆哪家做XX设备靠谱」这种带明确品类和地域的。我自家后台的问句是从客服聊天记录和搜索词里扒出来的,啥子都有,「XX设备噪音大不大」「有没有便宜点的」这种模糊问句占了一大半,AI根本不会往品牌推荐上引。分母不一样,百分比就没得比头。
第二,采样时间点太集中。 他们是演示前一天晚上跑的,我那批数据是拉了三个月的。AI引用这东西本来就有波动,我上个月做过测试,同一批问句隔一周跑两次,引用条数能差11条。你拿一个晚上的快照去代表长期效果,这个账算不过来。
第三,也是最容易糊弄人的一点——「推荐」的定义。 他们统计的是「答案里出现品牌名」就算推荐,可实际客户看到的是啥子?有时候AI把我们和竞品列在一排,有时候把我们放在「也可以考虑」那一档里。出现名字和排在前面,转化完全是两码事。我翻了三个月CRM,答案里出现品牌名的线索,实际转化成询盘的不到8%,比自然搜索来的差远了。
所以我现在的做法是,不管哪家来报效果,先让他把三样东西交出来:问句库清单(至少200条,要能看出筛选逻辑)、采样批次和时间跨度、以及「推荐」的判定标准写清楚。三样缺一样,那个数字我就当没看到。
工具是辅助,宣传听一半就够了。真正要看的还是自家CRM里线索跑没跑通。你们验收GEO效果的时候,那个「推荐率」的分母是咋个定的?有没有被服务商的口径绕进去过,摆出来大家参详一下。
