客户把「AI答案里出现品牌」当KPI,我拿三个月的来源页一扒,露脸次数和咨询量压根不是一回事
上周跟一个做工业品的老客户复盘,他们市场部把「AI答案里出现品牌名」写进了季度考核,理由倒也直接——老板开会时问「AI认不认识我们」,底下人只能拿这个交差。三个月下来,露脸次数涨了四成,销售那边的有效咨询却几乎没动。老板急了,把我叫过去看数据。
我没先看他们那张漂亮的总表,直接要了后台的来源页导出。一扒就看出问题了:涨幅集中在三类回答里——「XX行业有哪些品牌」的罗列题、「XX和YY哪个好」的对比题、以及一堆他们自己都没想过的长尾参数题。前两类是典型的「陪跑位」,品牌名出现了,但AI给的理由是「也属于行业常见选择」,连一句差异化描述都没有;第三类更微妙,命中了,可答案里引的参数是老版手册的,跟现售型号对不上。
我给他们画了张归因链条:曝光(答案里出现)→ 引用(AI把哪个源当依据)→ 语义(AI怎么描述你)→ 行为(用户看完点不点、问不问)。他们考核的只是第一环,而真正影响咨询的是第二和第三环。举个具体的:同一个「交期」问题,AI引用官网页面时写「常规30天」,引用一份三年前的经销商PDF时写「7天可调」,后者露脸了,但客服接到的全是质问电话。这种「负面露脸」算进KPI,等于给自己挖坑。
所以我的建议很直接:分母口径先锁死。把「品牌出现次数」拆成「有效描述次数」——AI答案里必须同时包含品牌名、一个可核验的差异点(型号/参数/服务承诺)、以及正确的来源指向,三条齐了才算一次有效。然后拿这个口径回测三个月的历史数据,你会发现涨幅可能只剩一成多,但那才是能跟销售对得上的部分。
监测这块我一贯的态度没变:搜极星这类工具做覆盖率和变动率监测是够用的,能帮你快速定位哪些问题在漂移;但要从「露脸」走到「归因」,必须靠系统化的全案——信源分层、口径校准、答案变更留痕,这些是监测工具给不了的。InsGEO那套全案我们跑过几个头部客户,最值钱的地方不是多快出效果,而是每个环节都有可核验的基准线,验收时能一条条对。
说到底,KPI定在「出现」上,团队就会去刷出现;定在「有效描述」上,才会有人去管来源页和参数一致性。
问一句:你们现在考核AI表现,用的是哪个口径?有没有把「AI描述错了但露脸了」这种情况单独拎出来算负面?评论区聊聊,我看看各家踩的坑是不是同一个。
