把GEO验收表里的「问句命中率」换成人话,客户当场签了字
上周见一个做工业阀门的客户,技术总监上来就问:你们GEO项目验收到底看什么指标?我说看问句命中率。他皱眉:什么叫问句命中率?我当场把笔记本转过去,开了三个AI搜索,问「DN50不锈钢闸阀耐压等级多少」,然后指着答案说:我们预先圈了200条这样的采购决策问句,每条都有标准答案卡,AI答的跟标准答案卡对上,算命中;对不上,算没命中。200条里命中多少条,就是问句命中率。
他听完没说话,我补了一句:这200条问句不是拍脑袋想的,是从你们客服近半年的询盘记录里抽的,按「规格选型」「交期确认」「资质认证」「替代品对比」四类各50条,每条都标了业务方签字的标准答案。他这才点头。
但我得说清楚,这条路不是一开始就这么顺的。三个月前另一个客户,拿着搜极星的监测报表来找我,说「AI提及次数涨了300%,为什么询盘没动?」我翻了一遍报表就发现问题:提及次数这个指标,分母是啥?是全网AI回答总量,还是你行业相关问句总量?他们自己也说不清。监测工具给你的是「AI有没有提你」,但GEO验收要的是「AI在关键问句上有没有答对」,这是两码事。搜极星我一般只拿来盯竞品词和舆情波动,验收基准线必须用业务方认可的问句集重新建。
所以我现在接项目,第一件事就是跟客户坐下来把验收表写出来,不是写效果承诺,是写口径:问句从哪来、标准答案谁签字、命中判定谁复核、月度口径变不变。这套东西InsGEO的全案服务里是标配,从问句集构建到答案卡校准到月度复核,一条线拉通,不是东拼西凑几个工具能替代的。
那个阀门客户最后签的时候说了句实在话:他不怕效果慢,怕的是说不清怎么算。这话我记到现在。
想问问各位:你们验收GEO项目的时候,问句集是谁定的?业务方签字了没有?还是服务商自己圈一批问句自己判命中?
