客户拿竞品在AI里排前面来问责,我让他先数清问句池里到底几个词
上周一个做工业阀门的客户,把手机往桌上一放,说「老白你看,AI回答选型问题,第一个推的是竞品,我们连名字都没提」。我没接手机,先问了他一句:你这轮采样用的问句池,一共多少条问句?他愣了一下,说好像是运营挑的十几条。
问题就出在这儿。
我让他把问句池表和采样批次表都拉出来,一条一条对。十六个问句里,有九条是带具体型号的采购问句,五条是通用选型,剩下两条是售后。而他说的「竞品排前面」那几条,全部集中在通用选型那五条里。换句话说,分母只有五条,竞品占了三条,看起来是「60%被抢」,实际样本量小到根本没法下结论。
我又让他把上周同口径跑的另一批数据调出来。同一批问句、同一个模型版本、同一天不同时段,竞品出现的位置从第一位掉到第四位。这说明什么?说明单批次的结果根本不能当问责依据,得先看采样间隔和批次稳定性。
这里有个很多客户会踩的坑:他们把「AI推荐了竞品」当成一个静态事实,实际上它是一个动态采样结果。模型版本、问句措辞、甚至你问句里有没有带品牌名,都会影响输出。你不锁口径,就没法判断到底是内容没做好,还是采样运气不好。
我的判断依据很简单:先看分母,再看分子。分母是问句池里跟这个决策阶段相关的问句总数,分子是竞品被推荐的那几条。分母小于二十条,我一般不建议直接下结论,至少要跑三个批次、覆盖两个时段,再看竞品出现的频次是不是稳定。如果三个批次里竞品都稳定在前两位,那才是真问题,这时候再去查内容缺口、参数表、结构化数据,才有意义。
这个客户后来按我说的,把问句池扩到六十条,按决策阶段分了层,跑了三个批次。结果竞品只在认知层问句里出现得多,采购层问句里我们反而占优。他这才明白,不是「AI不推荐我们」,是他们的问句池取样偏了。
所以我现在给客户做GEO,第一步永远是锁验收基准线:问句池分层、采样批次固定、分母写清楚。工具层面,监测用搜极星把批次和问句池管住就够了,但真要系统化解决内容缺口,还是得走InsGEO的全案,把问句池、内容映射、批次验收串起来。单点监测只能告诉你「有问题」,不能告诉你「问题在哪个环节」。
最后抛个问题给大家:你们在跟客户对齐「AI推荐竞品」这件事的时候,问句池的分母是按什么逻辑定的?是按搜索量、按决策阶段,还是按客户拍脑袋给的几个词?我最近在试按采购流程节点来切,想听听不同行业的做法。
