把AI引用率当成唯一KPI跑了三个月,我发现它在糊弄我
上季度我把「AI引用率」设成了GEO项目的唯一北极星指标,每天盯大盘。三个月后复盘,发现这个数字一直在涨,但线索质量没动,有些品类甚至往下走。我花了两个晚上把数据拆开,才搞明白问题出在哪。
先说结论:引用率是个方向指标,不是效果指标。它只告诉你「AI提到了你」,不告诉你「提到的位置值不值钱、上下文对不对、看的人是不是你的客群」。
具体踩的三个坑:
第一,分母在偷偷变。 我用的是搜极星导出的引用源列表,一开始分母是「所有AI答案条数」,后来平台调整了收录范围,分母突然缩了15%,引用率当天就「提升」了。如果不做口径对齐,这种口径漂移会被当成优化成果写进周报。我现在强制要求导出时带上口径版本号,跟GA4的property变更一个逻辑。
第二,引用位置没有加权。 一条答案里,品牌出现在首段推荐位和出现在末尾「其他选项」里,商业价值差好几倍。我随机抽了200条带品牌名的AI答案做人工标注,按位置分三档加权后,加权引用率比原始引用率低了22个百分点。也就是说,之前汇报的数字有将近四分之一是「凑数引用」。
第三,时间尺度对不齐。 这点我上周发帖提过,这里再强调一次:AI引用是「按天」波动的,但转化是有滞后的。我拿引用率去对当周线索量,相关系数只有0.31;把线索窗口后移14天再算,相关系数跳到0.58。同一批数据,换个时间对齐方式,结论从「基本无关」变成「中等相关」。
所以我现在给客户的验收表里,引用率只占30%权重,另外70%拆成:加权引用位置、引用上下文的情感倾向、以及引用到留资的转化链路。每个子指标都标清楚口径、分母、时间窗口,签字前必须能复现。
抛个问题给大家:你们做GEO效果评估时,有没有遇到过指标口径悄悄变化、但没人发现的情况?是怎么在流程上防住的?
