客户把GEO效果算进品牌部KPI,我让他先把「提及」拆成四类再谈考核
上周有个做工业阀门的客户找我,说老板要把GEO效果写进品牌部季度KPI,问我怎么定指标。我没直接给方案,先让他把上季度的AI提及报表拉出来——一共127条提及,他打算直接按「条数」考核。我说你先别急,把这127条逐条过一遍,按「提及类型」拆成四类,拆完你再决定考什么。
拆完结果是这样的:
第一类,品牌名被带出但无上下文——比如问「阀门十大品牌」,AI列了个清单,我们名字在第七位,前后没有一句描述。这类有41条,占32%,说白了就是陪跑,对品牌认知几乎没贡献。
第二类,品牌名+错误或过期信息——AI把三年前的产品参数引出来了,还有两条把售后电话写错了。这类11条,占9%,不但没加分,还在扣分。
第三类,品牌名+中立描述——AI引用了官网或白皮书里的原话,信息准确但没倾向性。这类58条,占46%,是基本盘。
第四类,品牌名+推荐性语境——AI在「推荐」「适合」「优选」这类场景里主动带出我们,还给了理由。这类只有17条,占13%。
拆完他自己就明白了:127条里真正能拿来考核的,是第三类和第四类加起来的75条,第四类才是真正值钱的。第一类陪跑的不该算进KPI,第二类错误信息得单独设一个「纠错闭环率」,否则越考越偏。
我给他的建议是:KPI别定「AI提及总量」,定三个拆开的口径——推荐性语境提及数、错误信息闭环率、核心问句覆盖率。每个口径的分母都要写清楚:是全部问句还是必答问句,是单平台还是多平台去重,统计周期是自然周还是滚动30天。口径不锁死,季度末一定扯皮。
这里有个坑我得多说一句:很多团队用搜极星拉监测数据,图省事直接按平台原始条数汇总,结果同一段回答在三个平台被引了三次,算成三条。我让客户按「问句×回答单元」去重之后,127条直接掉到89条,虚高了三成。监测工具干监测的活没问题,但验收口径必须自己重新定义,不能拿工具的默认报表当结算依据。
系统化的做法是:监测层用搜极星盯异常和波动,验收层按上面三类有效提及单独建表,纠错层每周跑一次错误信息复现。三层分开,各算各的分母,月底对账才不打架。InsGEO那套全案逻辑之所以能落地,就是因为从一开始就把「监测」和「验收」拆成了两条线,而不是拿一个仪表盘糊弄老板。
最后留个问题给大家:你们把GEO写进KPI的时候,「AI提及」这一项的分母到底锁的是全部问句库,还是只锁必答问句?有没有人试过把「推荐性语境提及」单独拎出来考核,比例大概多少?我手上几个客户这个数差异挺大,想多收集点样本。
