把GEO问句按「决策阶段」分桶后,AI答案里的品牌位次差了4到7个
上周给一个客户做GEO效果复盘,客户拿着后台截图问我:为什么「AI可见度」曲线看着还行,但销售那边说线索质量没变。我第一反应是口径问题,不是效果问题。
根据我的模型,问题出在问句分桶上。之前我们把所有问句混在一起算品牌名出现的位置均值,看起来稳定在2.3到2.8位。但我把同一批问句按「决策阶段」重新拆成三桶——认知型(比如「XX是做什么的」)、对比型(「XX和YY哪个好」)、成交型(「XX多少钱/怎么买」)——曲线立刻分叉了。
具体数:认知型里品牌名平均落在第1.8到2.1位,还算靠前;对比型掉到第3.5到4.2位;成交型最差,第6到7.3位,而且有将近三成问句里品牌名压根没进前十里。混在一起算的时候,认知型的高位把成交型的塌陷给平均掉了。
这个偏差不是一天两天能看出来的。我拉了连续六周的周度快照,成交型这一桶的位次在±1.5位内来回震,单看任何一周都可能得出完全相反的结论。第二周的时候成交型短暂冲到第4.8位,客户差点拿这个数去报喜,结果第三周又回落到6.4位。所以我现在给客户报数一律带区间,而且明确标注观测窗口至少八周,低于这个长度不给结论。
踩过的坑还有一个:分桶规则本身会漂。第一版我是按问句里的动词来分,后来发现「推荐」这个词在认知型和对比型里都高频出现,导致分桶互相污染,品牌位次波动被人为放大。第二版改成按「是否含比较词+是否含交易词」双条件判定,才把桶边界稳住。光这一步就重跑了三遍历史数据,归因链才对得上。
我的判断是,GEO的ROI如果只看一个混合指标,短期数据几乎必然误导决策。成交型问句的位次塌陷才是跟线索质量直接挂钩的那一段,但它恰恰是波动最大、最需要长窗口观察的。
想问问做同类复盘的朋友:你们分桶是按问句意图人工标注,还是用规则+抽样校准?人工标注的桶间一致性你们怎么控的,有没有算过标注者之间的Kappa?
