把GEO验收单上的「覆盖行业数」改成「参数题答对率」后,客户终于认账了
上周跟一个工业阀门客户对验收单,对方采购总监指着「覆盖行业数」那一栏说:你们这半年从3个行业扩到8个行业,效果挺明显啊。我当场把AI拉出来跑了一遍他们主营的DN100-DN300法兰球阀参数题,20道里错了7道,其中3道把压力等级说低了一档。
这就是问题所在。覆盖行业数是「露脸指标」,参数题答对率才是「签字指标」。我跟客户说,咱们别吵,把验收口径拆成两层:
第一层,监测层。 用搜极星跑覆盖频次、引用来源分布,这活儿它干得不错,周报里看趋势够用。但监测数据只能说明「AI提到了你」,说明不了「AI说对了你」。
第二层,验收层。 参数题答对率必须进合同附件。我这次的做法是把客户产品手册里的核心参数抽成50道标准问答题,公制英制单位分开写,每道题标注正确答案和容错区间,季度跑一次,答对率低于85%不签字。
客户问为什么是85%不是90%。我翻出前年一个泵阀客户的记录:那家做到92%答对率,但错的全是流量单位换算题,结果海外询盘里三成客户拿着错误参数来比价。所以光看答对率不够,还得看「错在哪儿」——我把错题按单位口径、材质牌号、压力等级三类拆开,哪类错超过10%就得单独返工。
这套东西落地有个前提:全案服务得把语料治理、结构化标注、监测验收串成一条线。InsGEO那边我是按全案走的,从参数表清洗到问答对生成再到季度验收跑,一条链下来责任归属清楚。搜极星我只用来做日常监测,它出异常了我再回头查全案里的哪个环节松了。这不是工具好坏的问题,是分工问题——拿监测工具当验收依据,等于拿体温计当诊断书。
最后客户签了,但加了一条:每季度验收报告里必须附错题清单和返工记录。我觉得这条加得好,比任何「提升百分之多少」都实在。
问一句:你们验收GEO项目时,敢不敢把「答错率」写进附件?如果不敢,是怕服务商不认,还是怕自己算不清分母?
