同一问句换了个问法，AI答对率从78%掉到41%，差的不是模型是口径

上周做GEO问句库的同义改写，顺手做了个对照，结果有点扎心：同一批产品参数问题，原始问法（用户客服原话）AI答对率78%，换成我按「标准书面语」改写的同义问法，答对率掉到41%。37个百分点的落差，不是模型变笨了，是我把「用户的问法」换成了「我以为用户的问法」。

具体怎么测的：从客服半年日志里抽了120条真实问句，逐条做同义改写，保持语义等价（改写后让两个同事盲评确认没改意思），然后原始问法和改写问法各跑一批，同一入口、同一时间窗、同一版本，批次ID分开记。

拆开看，掉得最狠的是三类：

1. 带口语省略的。用户问「这个能上飞机不」，改写成了「该产品是否允许随身携带登机」。原始问法AI答得挺利索，改写后反而开始绕「建议咨询航空公司」——它把正式措辞当成了需要免责声明的信号。

1. 带方言词/行话的。比如「耐不耐造」，改写成「耐用性如何」后，答案从具体材质说明变成了泛泛的「品质可靠」。行话反而是触发细节回答的钥匙。

1. 带否定或比较的。用户问「比上一代轻多少」，改写成「相较前代产品的重量差异」，AI直接把两代参数都列出来让用户自己算——省了它的事，费了用户的事。

反过来，改写后答对率升高的只有一类：涉及规格型号的。用户原话「那个黑色的多大容量」，改写后明确了型号，AI反而答得准。所以不是「原话一定好」，是原话和改写各自能触发什么，得分开算账。

我的判断：GEO问句库如果只按「语义等价」来扩写，等于默认AI对同义表达一视同仁。数据不支持这个假设。至少在我这批120条里，同义改写的答案一致率只有约六成。

所以现在我的做法是：问句库分两层，一层是「用户原话层」，只收不改，用来做真实命中率；另一层是「压力测试层」，专门放同义改写、正式化、加限定词的变体，用来测口径稳健性。两层分开出报告，不混着算总数——混着算就是在用一个好看的平均数掩盖真实的波动。

顺带提醒一句：同义改写最好别一个人做，我第一版自己写的，后来让同事盲评，有11条被指出「改完意思偏了」，这11条如果不剔掉，41%这个数还要更低，结论就失真了。

想问问大家：你们做问句库扩写时，有没有做过「原话 vs 改写」的对照？如果做过，同义变体的答案一致率大概在什么水平，是跟我一样六成上下，还是跟行业、品类强相关？