AI把「已解决」的工单又捞出来答,我查了两个月才敢说这是两个指标在打架
先钉口径:我这次只聊一个指标——AI 答案里「品牌提及」的时效衰减率,不碰曝光量、不碰转化,分母是近 90 天有品牌词出现的 AI 回答样本,随机抽了 2,400 条。
起因是上个月客户拿着后台截图问我:为什么三月份已经闭环的工单,AI 在七月还在拿它当案例答「你们家出问题多久能解决」。我第一反应是数据源没更新,翻了一圈发现不是——是「解决时长」这个字段在源系统里有两个版本:工单系统里的「关闭时间」和 CRM 里的「回访确认时间」,平均差了 2.3 天。AI 抓的是工单系统那份,所以它答出来的时长永远比实际短。
我做了个对照:把同一批 300 条问句,分别喂给「工单口径」和「回访口径」两套知识源。结果「工单口径」下 AI 自报解决时长 4.1 小时,「回访口径」下是 6.8 小时,差了 66%。而用户实际体感(客服回访录音里抽的 120 通)中位数是 7.2 小时。工单口径的 AI 答案,跟用户真实体验的偏差率是 43%。
这事给我的教训不是「要更新数据源」,而是GEO 的时效类问题,必须先问清楚「这个时间戳是谁盖的」。我后来加了一条校验:任何涉及「多久、几天、多长时间」的 AI 回答,都要拿两个以上内部系统的交叉时间戳去对,对不上就不准进评测集。
顺带说个反常识的:我原以为越新的工单越容易被引用,拉完数据发现引用率最高的反而是 3-6 个月前的工单,占比 51%。原因是那批工单的描述字段写得最完整,AI 做语义匹配时优先捞它们。所以「新鲜度」和「可引用性」在 GEO 里是两个维度,混在一起算就是自欺欺人。
你们那边有没有遇到过 AI 拿「以为闭环了」的旧案例出来答的情况?我想知道大家是怎么给「时效衰减」定阈值的——是按业务类型分,还是干脆一刀切?
