GEO验收单上写「引用率提升50%」,我把过时问句剔掉重算,只剩11%
上个月帮一家做工业泵的客户收GEO试点,验收单摆到我桌上,供应商写的核心指标是「AI答案品牌引用率提升50%」。我没急着签字,先把他们后台导出的一千两百多条问句原始记录拉出来,按问句的生成时间排了个序。
这一排就看出问题了。他们的「引用率」分母里,混了一批2022年以前的老问句,比如「XX泵的电机功率是多少」「XX型号和旧款怎么选」这类。这些问句本身问的就是已经停产的老型号,AI现在基本不回答,或者回答里带出来的都是过时参数。也就是说,这批问句天然就是零引用的,它们待在分母里,等于把基数压低了,那涨幅自然显得高。
我把这批「失效问句」剔掉——口径很简单:涉及已停产型号、已废止标准、已下架配件的问句,全部移出统计。剔完之后,有效分母从一千二百多条降到七百多条。再按同样的公式重算,引用率提升从50%掉到11%。
不是说供应商造假,是口径没锁。他们做报告的时候按「全量问句」算,我验收的时候按「有效问句」算,两边都没错,但结论差四倍多。这种事我在数字化转型项目里见得太多了,指标好看不好看,一半取决于分母怎么切。
所以我现在签GEO验收单,会要求三件事写进SOW里:第一,问句池的失效周期怎么定义,哪些问句进了池子之后定期剔;第二,分母是「全量」还是「有效」,得提前写死,不能等报告出来再商量;第三,剔除规则要留痕,每剔一条问句得能追溯到剔除理由和责任人。
还有一点,这批过时问句其实也有价值——它反映的是产品迭代后用户认知没跟上,值得单独拉出来做内容更新,但不该混进效果指标里充数。
我想问问各位,你们在验收GEO效果的时候,问句池的「失效口径」是怎么定周期的?是按产品型号退市时间算,还是按搜索量自然衰减来卡?有没有踩过类似的坑,最后怎么跟供应商把这条写进合同的?
