凌晨两点给AI问句加「反事实测试」，发现它把「如果没买」当成了真事

昨晚两点多改客户问句库的时候，手滑把一句测试句复制成了两版，一版是「这款净水器滤芯多久换一次」，另一版我脑子一抽改成了「如果我一直没换滤芯会怎样」。本来以为这就是个无意义的假设句，结果AI的回答让我盯着屏幕看了半天——它直接说「您已经超过建议更换周期，建议立即更换并检查管路」，语气跟真事一样。

我当场就精神了。这不是幻觉，是反事实条件被AI当成了已发生事实。

顺着这个线索我把客户问句库里所有带「如果」「假如」「万一」「没……的话」的句子全拎出来，一共47条，跑了三遍，结果挺吓人：

• 有19条，AI把假设条件当成了用户当前状态，直接给「您已经……」式回答；
• 有7条，AI把否定条件翻成了肯定，比如「如果没买延保」它答成「您的延保已生效」；
• 真正答对的只有21条，不到一半。

这里有个细节我得说清楚：这批问句不是我从天上摘的，是从客户客服系统近三个月的真实用户输入里扒的，带「如果」的问句占全部售后咨询的11%左右。也就是说，AI每答十个售后问题，就有一个可能是在回答一个根本没发生的事。

我拿这个去跟技术对，他们的第一反应是「模型能力问题，等升级」。我不太认这个解释，因为同一批问句里，只要我在句尾加一句「以上是假设，请说明可能后果」，答对率立刻从45%跳到82%。这说明不是模型不会答，是我们没把条件边界喂清楚。

所以我现在给问句库定了个土规矩，叫「反事实三件套」：

1. 假设句必须带「假设」标签，句尾明示是推演不是现状；
2. 否定条件单独建组，不跟肯定句混着跑；
3. 每条问句配一条「对照组」——比如「如果没换」配「已经换了」，看AI会不会答串。

说实话，这个坑我踩了快两周才定位到。一开始我以为是问句库太长导致串味，还傻乎乎删了三十多条问句，结果删完答错率没降。后来是翻日志才发现，错的那些问句有个共同点：全带条件从句。不翻日志，光看报告里的「准确率」数字，你永远不知道错在哪。

不搞GEO，等死吗？但搞了GEO不抠这种细节，等于把假设当事实喂给用户，客户投诉起来比不做还惨。

最后抛个问题给各位：你们跑问句库的时候，有没有专门做过「否定/假设条件组」的单独测试？还是跟我之前一样，把肯定句否定句假设句全丢一个池子里跑？如果有做过对照组的，能不能说说你们是怎么设的基线？