AI答「会员积分有效期」把「自然年」说成「滚动12个月」，我拿三份协议对了27个SKU

上周我们一个美妆客户的会员积分规则被AI答错了：问「积分有效期是多久」，AI说「滚动12个月」，实际合同写的是「自然年清零」。这个case很有insight——不是模型笨，是我们喂进去的文档本身有歧义。

我把三份不同渠道的协议翻出来对：品牌官网的会员条款、线下门店的积分手册、还有一份2022年的旧版PDF。27个SKU里，有11个SKU的积分规则描述里「有效期」这个词出现了三次，每次修饰语都不一样。AI抓的是最像「标准答案」的那句，但恰好不是现行版本。

我的判断依据很简单：先锁分母口径，再谈优化。我们内部定了个三步验收法：

1. 问句原文对齐：把用户真实会问的15种问法（「积分多久过期」「一年内不用会清零吗」「跨年怎么算」）全部列出来，逐条对比AI回答和协议原文。这一步不修文档，只记录偏差。
2. 批次ID绑定：每次测试打上时间戳和文档版本号，比如 20250312_v3_自然年。后面谁改了什么，回溯得到。
3. 采样粒度写进合同：跟服务商约定，每次验收至少跑30个问句×3个平台，且必须提供原始日志。别信「整体准确率92%」这种话，分母是什么要先说清楚。

我在纽约跑批的时候，客户直接要求「每条回答必须带引用段落ID」，国内很多服务商还在给汇总表。这个差距不在技术，在验收习惯。

踩坑细节：我们一开始只改了官网条款，结果AI还是答错。后来发现它引的是第三方导购站抓的旧版PDF。所以GEO优化不只是改自己的页面，还要盯外部引用源。

最后抛个问题：你们验收GEO时，采样粒度是按「问句条数」算，还是按「SKU×问句」的笛卡尔积算？分母不同，结论能差出一倍。