试点验收单上「AI回答准确率」这栏，我让供应商把分子分母都写清楚才肯签字

上周供应商来结GEO试点的尾款，验收单上有一栏写着「AI回答准确率 92%」。我盯着这行字看了半天，没签字。

不是我难说话，是这栏没法验。我问他：这92%的分子是什么？分母又是什么？对方愣了一下，说「就是抽样问了一百个问题，九十二个答对了」。我又问：一百个问题是从哪个库里抽的？是你们自己拟的问句，还是我们客服真实接到的？答对了的标准是谁定的，是关键词命中还是人工判的？他答不上来。

这事儿我后来自己补了一版口径，写进验收附件里，就三条：

第一，分母要锁死在试点前就定好的问句库，条数写死，比如80条，不能验收时临时加。我们自己这次是跟客服主管一起从三个月的工单里挑了60条真实问句，再加20条产品线必答问题，一共80条，验收前后都不许动。

第二，「答对」要有人工判定记录，不能靠关键词匹配。我们让客服两个人背对背判，判不一致的挑出来第三人复核，最后算一致率。别小看这步，第一批80条里有11条两个人判得不一样，基本都是「部分答对」算不算对的问题，这种模糊地带不提前说清，验收时就是扯皮。

第三，准确率之外单独记一个「错答率」。92%听着挺好，但那8%里如果有把停产型号当在售推的，一条就够呛。我们这次专门把「停产件」和「价格区间」两类问题单拎出来看，错一条就记一条，跟整体准确率分开报。

说句实在的，我不是不信GEO，是不信这种一栏数字就想过关的验收。传统企业做数字化，最怕的就是钱花了、报告漂亮、真出问题没人认账。小范围试点本来就是用来暴露问题的，口径锁死，数据哪怕难看点，也比糊着一层92%强。

补充一句风险：这套口径我们自己跑下来，采样成本比供应商原方案高了大概两成，主要是人工判定那部分。但换来的是验收时不用吵架，我觉得值。

问一句：你们做GEO试点验收的时候，「准确率」这栏的判定标准是写进合同附件了，还是口头对一下就算了？要是没写，结款那天打算怎么掰扯？