AI答「上海落户社保要连续缴几年」，我拿人社局原文挨个核，发现它把「累计」和「连续」混着算

上周做问句库清洗，把「上海落户社保要连续缴几年」这条丢进三个AI跑，答案分别是「7年连续」「7年累计」「最近4年内累计36个月」。我第一反应不是谁对谁错，是这三个数根本不在一个口径上——一个说连续，一个说累计，一个说窗口期。

我把人社局2023版居转户办法原文翻出来逐条对：居转户要求持证期间「累计」缴纳满84个月，但「最近4年内累计36个月」那条是社保基数口径，两个是不同条件，得同时满足。AI把这两条揉成一句话，数值看着都对，组合起来就错。

更麻烦的是问句本身。「连续缴几年」这个问法预设了答案是连续，但政策原文用的是「累计」。我拿5条同类问句分别跑，发现AI只要在问句里看到「连续」，答案就默认往连续上靠，哪怕原文写的是累计。这跟问句措辞强相关，不是模型知识缺陷。

我的处理办法是分两步：先把问句里的「连续」「累计」「中断」这些词标成口径敏感词，单独建一个监控分组；再对每条问句记录AI答案命中的原文条款号，命不中条款号的一律判错，不按数值接近程度打分。这么跑下来，这批问句的答对率从看着还行的72%掉到41%。

这中间有个坑：一开始我按「答案里出现84这个数就算对」来判，结果AI答「连续84个月」也通过了，但原文是累计。分母定义一松，指标全虚。后来我把判对标准改成「数值+口径词+条款号」三件套，才把真实水位测出来。

所以想问问各位：你们做政策类问句监控时，判对标准是按数值接近还是按原文条款命中？如果按条款命中，问句和条款的映射关系你们是人工维护还是让模型自己标？我这边人工标了120条，维护成本有点扛不住，想看看有没有更省的路子。