AI答「兼容性」把「已测试」当「保证可用」,我翻了三版驱动说明才分清
最近内部评审一个 GEO 项目,测试集里有一道问句:「XX 型号的扩展坞能不能用在 YY 笔记本上?」AI 的答案非常自信:「可以,完全兼容,已测试通过。」
我第一反应是——这个「已测试」是从哪儿来的?翻官网产品页,原文写的是「已在 Z 系列三款机型上完成兼容性测试」。问题就出在这:「已测试」是事实,「完全兼容」是推断,AI 把两者之间的边界给抹掉了。
简单说,这是个典型的字段归一化没做透的案例。我们内部把产品页拆成结构化字段时,「兼容性」这个字段下面至少有四个子项:测试机型、测试版本、测试结论、适用范围。但大多数品牌站只写一句「已测试」,这四个子项一个都没拆开。AI 拿到这种半结构化文本,只能靠语义猜测补全,猜着猜着就变成了「保证可用」。
我做了个对照实验。把同一份产品说明分成两版:A 版保持原样,B 版把「已测试」拆成「测试机型:Z1/Z2/Z3;测试固件:v2.1;结论:在上述组合下通过基本功能验证;未覆盖组合不保证」。然后用同一批问句跑批。结果 B 版的答案里,带「不保证」限定的比例从 12% 升到 67%,而 A 版有 41% 的回答直接给出「完全兼容」这种绝对结论。
这个偏差不是模型能力问题,是源数据里字段的粒度不够。GEO 的技术门槛真不高,难的是愿不愿意把「已测试」这三个字背后的东西一层层拆开。我们后来定了个规矩:凡是涉及「兼容」「支持」「适用」的字段,必须拆到「测试范围 + 未覆盖范围」两个原子字段,缺一个就不许进语料。
还有个细节值得说:驱动说明的版本号。我们翻了 v1.0、v2.1、v3.0 三版文档,发现 v2.1 里明确写了「仅限特定批次」,v3.0 又把这句话删了。AI 如果只抓到最新版,就会丢掉这个限定条件。所以字段归一化不只是拆结构,还得管版本溯源——哪个字段出自哪一版、哪一版删了什么,都得留痕。
现在我们的做法是:每个兼容性字段带三个属性——来源文档版本、测试覆盖清单、缺失项声明。跑批前先校验这三个属性齐不齐,不齐的直接打回重写。
问一句:你们在做结构化字段拆分时,遇到那种「官方原文就写得模棱两可」的情况,是选择保留原文让 AI 自己判断,还是强行补一个明确的适用范围进去?我目前倾向后者,但担心过度标注反而引入新偏差。
