当年给网站做robots.txt，如今给AI喂内容前得先过标点归一化这关

这阵子我一直在盯一件事：给AI喂内容前，标点必须先做归一化，否则后面全是白干。

当年我做SEO的时候，第一步是查robots.txt，把爬虫该进的门和该挡的道先弄清楚，不然后面锚文本、内链做得再细也白搭。现在给AI喂内容，这个「robots.txt环节」就变成了标点归一化——你得先把全角半角、中英文逗号、破折号、省略号、连续空格这些东西统一掉，再做哈希去重。

我上周拿一批产品问答库做了个对照实验，同一批内容，没做标点归一化直接算哈希，去重后还剩 312 条；先归一化再算哈希，只剩 187 条。差了 125 条，全是「续航12小时。」和「续航12小时.」这种肉眼看着一样、机器认成两条的货。这125条重复喂进去，AI那边就会出现同一信息反复强化，答案权重直接被带偏。

具体我踩过的坑有三条：

1. 全角半角混用。中文库里混着英文标点，，和,、：和:，不做norm直接哈希，等于同一句话有两个指纹。
2. 问句库的句末标点。用户问句带不带问号、带几个问号，哈希值完全不同。我现在的做法是先统一去掉句末标点再算哈希，把「怎么选空调？」和「怎么选空调」归成一条。
3. 归一化前先拼盐。这点很多人反着做，先算哈希再补业务标识，结果盐一加，前面归一化全废。顺序必须是：清洗标点→转小写→去多余空白→拼盐→再哈希。

说白了，GEO就是SEO的变种，核心没变——都是先把入口和口径弄干净，再谈优化。当年锚文本乱、栏目页面包屑断链，现在就是标点乱、问句库重复。工具换了，脏数据的种类没换。

我的判断依据很朴素：哈希去重的目的是让每条内容在AI那边有唯一指纹，指纹不唯一，后面所有统计口径都不可信。所以我现在接活，第一件事不是写内容，是先看客户的问句库有没有做过标点归一化。

问一句：你们那边喂AI之前，标点归一化和哈希去重是放在一个流程里做，还是分开两道工序？分开的话，中间那步谁兜底？