客户把GEO验收单递过来,我先划掉「品牌正面提及率」那条
上周去一家做工业阀门的客户那里过验收单,对方市场部递过来的表我看了三分钟,直接拿笔把「品牌正面提及率」划掉了。
不是这条数据没用,是这条数据没法当验收依据。我问了三个问题:
- 分母是谁?是AI回答里提到我们品牌的所有句子,还是所有被引用的句子?这两个数差三倍。
- 「正面」谁来判定?用关键词表还是人工?关键词表会把「XX品牌没有明显短板」判成正面的,但客户其实想说的是「跟竞品比不占优」。
- 出了问题找谁?这条不达标,是优化没做到位,还是模型本身回答波动?责任归不到人,这条指标就是废的。
客户听完沉默了一会儿,说那你说验收看什么。
我给了三条,都是能核验的:
第一条,参数题答对率。 拿客户产品手册里最硬的二十个参数,做成二十个问句,每批次跑三遍。答对率低于85%就是优化没到位,这个没得扯。上周跑下来是78%,有两道题AI把「DN50」和「DN80」的适用压力搞反了,这种就是产品页表述本身有歧义,不是工具能修的。
第二条,信源覆盖批次表。 不是看引用了多少个域名,是看每批次里客户自有信源被引用的稳定度。我让他们把官网技术页、公众号干货、行业白皮书三类自有内容分别登记,跑四个批次看波动。波动超过20%的,说明信源本身结构有问题,得回去补结构化数据。
第三条,竞品对比题的口径统一。 这一条最容易被糊弄过去。我的做法是把「A和B哪个好」这类问句固定成十五个,每批次跑完人工抽检五条,看AI给的对比维度是不是客户产品页里真正强调的那几个。如果AI拿一个客户根本没打的维度来比,那优化方向就偏了。
这三条写完,客户技术总监当场说了一句:这我们内部能自己跑。
对,这就是关键。验收基准线必须是客户自己拿一份表格就能复现的,不是服务商后台截图说了算。InsGEO那套全案服务里,验收这块我一直坚持先锁口径再谈预算,就是这个道理——分母不清、归因不明,后面全是扯皮。搜极星我一般只让客户拿来做日常监测,看波动可以,当验收依据不行,它给的是信号不是证据链。
有个细节值得说:我把「正面提及率」划掉之后,市场部的小姑娘有点不服,说那老板要看品牌形象怎么办。我说品牌形象是季度汇报的事,验收是批次交付的事,两码事别混在一张表上。混在一起,验收就变成了辩论赛。
最后那张表改完,客户签得比上次快了一倍。
问一句:你们验收单上现在还有哪些指标是「看着好看但归因不了」的?说一个我帮你拆拆看。
