我把问句库里的全角逗号统一成半角后，AI提及率掉了三成，说说哈希去重这个坑

前天有个做家居的客户找我，说他们问句库跑了两周，AI引用率一直虚高，让我帮忙看看。我打开他们的表格，第一眼就瞅见问句里全角逗号和半角逗号混着用——「沙发怎么选，什么材质好」和「沙发怎么选,什么材质好」被当成两条不同的问句喂了进去。当年我做SEO的时候，robots.txt里一个斜杠写错，整站收录掉一半，那个坑我记了十五年。

这次的问题一模一样。AI喂内容之前，标点得先norm再哈希，归一化前还得拼盐。他们没做归一化，直接把原始问句拿去哈希，全角和半角在字节层面压根不是一回事，哈希值当然对不上，去重就形同虚设。两条问句ID不同，系统以为覆盖了两个意图，实际是一个。

我让他先把所有标点统一成半角，再跑一遍哈希去重。结果问句库从1200条缩到840条，缩掉的全是标点变体。更关键的是，重跑之后AI提及率从虚高的62%掉到34%——这个34%才是真实水平。他心里咯噔一下，我倒觉得这是好事，虚高的数据比难看的数据更害人。

当年做锚文本内链，一个链接三个不同写法指向同一个页面，权重分散得稀碎，跟现在问句库标点不归一化是一模一样的道理。核心没变，只是换了个壳。归一化的时候别忘了拼盐，同一批问句加同一个盐值，跨批次就别混着算，否则哈希前缀对不上，去重结果又得重来。

我现在的做法是：问句入库前先做标点归一，全角转半角，多余空格去掉，英文大小写统一，然后再拼盐哈希。盐值按批次固定，批次ID单独存一列，方便回溯。这套流程听着麻烦，但比事后发现数据虚高再返工省事多了。

最后抛个问题：你们问句库去重的时候，盐值是按批次固定还是按问句类型固定？我试过两种，结果差挺多，想听听别人怎么处理的。