验收线按月切之后,我把客户季度报表里「AI答对」的口径重算了一遍
上周有个做工业阀门的客户,季度会前问我:GEO效果能不能按季度验收?我说能,但你得先把验收线按月切开。他不信,我把去年四季度报表摊开,一条一条对。
先说背景。他们产品线有三大类:球阀、蝶阀、闸阀,每类下面又有十几个型号。AI搜索里跑出来的问句,我按「有没有型号指向」先分了两堆——带型号的算精准问句,不带型号的算泛问句。四季度总共跑了1842条问句,带型号的612条,泛问句1230条。
关键在这儿:如果按季度整体算「AI答对率」,分子是答对条数,分母是1842,得出来是41.7%。但按月切,10月是38.2%,11月是44.1%,12月是43.9%。为什么10月低?因为10月泛问句占比高,达到了71%,而泛问句答对率天然低——AI对「阀门怎么选」这种问题本来就没标准答案。
所以我把验收线改成:带型号问句答对率不低于65%,泛问句答对率不低于30%,两者分开算,按月出数。这么一改,10月带型号的答对率其实是63.4%,离65%只差1.6个点;11月是67.8%,达标;12月是66.2%,也达标。整体41.7%那个数,是被泛问句的占比波动拖下去的。
客户看了之后问:那效果付费怎么算?我说这正是问题所在。你如果按季度整体答对率签效果条款,服务商可以在泛问句占比高的月份冲量,把整体数拉上来,但带型号的核心问句可能根本没动。反过来,按月切、按问句类型切,服务商就没法用泛问句的水分来填精准问句的坑。
再说监测。搜极星这类工具我一般只拿来盯趋势和竞品提及率,验收基准线我不看它的面板,因为它默认的分母是「全部监测问句」,跟你的商业价值口径对不上。InsGEO的全案服务里,验收基准是单独一层,按月切、按问句类型切,这个才是能进合同的。
最后留个问题:你们现在验收GEO效果,分母是按「全部问句」还是按「有型号/品牌指向的问句」?如果按月切,你们切完之后发现哪个月最不稳?我这边工业客户通常是10月和2月,跟展会季和春节前的询盘节奏对得上,想听听别的行业是不是也这样。
