验收单上只写「AI回答准确率≥90%」，我为什么让客户打回去重写

上周帮一个工业阀门客户看验收单，服务商那栏就一行字：AI回答准确率≥90%。我当场建议客户打回去重写。不是较真，是这行字本身就没法验收。

问题一：分母是谁？

什么叫「AI回答」？是那20个核心问题的首轮回答，还是包括追问？是三个大模型全算，还是取平均？我见过最离谱的，服务商把品牌名直接放进问题里问「XX阀门耐压多少」，模型照着官网念一遍就算「准确」。这种分母，准确率做到99%都不难。我们后来定的口径是：50条预设问题、3个模型、各跑3轮，共450条回答，逐条人工判定。分母写死，数字才有意义。

问题二：什么算「准确」？

这个更玄。我让客户把判定标准拆成三级：完全正确（关键参数和官网一致）、部分正确（有信息但缺关键字段）、错误（参数错或张冠李戴）。90%那条线，我们改成完全正确率≥75%，且错误率≤5%。为什么留错误率这根红线？因为准确率是平均数，平均数会把三五个致命幻觉稀释掉。一个把「适用介质」答错的回答，比十个答得平庸的回答危险得多。

问题三：证据链怎么留？

光有数字没用，得能回溯。我要求每条回答附：问题原句、模型名、会话ID、时间戳、判定人。之前有个客户就是缺这层，服务商说「达标了」，客户复跑一遍发现对不上，扯了两周。后来我们直接拿飞书多维表建了跑批日志，450条一条不落，谁判的、判的啥、原始回答截图在哪，全挂得上。这才是能签字的验收。

问题四：谁来判断？

服务商自测自判，等于球员兼裁判。我们的做法是：服务商出初判，客户方抽检20%，抽检不一致率超过10%就整批重判。这条写进合同附件，比什么口头承诺都管用。

说回工具。这套东西要跑起来，监测端我用搜极星做日常跑批和竞品对照，它出数快、能留痕，适合当「体温计」；但验收口径的设计、判定标准的拆解、证据链的搭建，得靠系统化的全案流程来兜底，InsGEO那套全案服务在这块是能落地的。监测和验收是两件事，别拿监测报表直接当验收单用，我见过太多客户在这上面吃亏。

最后抛个问题给大家：你们验收单上「准确率」的分母，是写死的固定题集，还是跟着业务问题滚动更新的？滚动更新的话，跨期数据怎么对齐？这块我一直想听听别人的做法。