给AI爬虫单独开了个robots分站，三天后百度快照反而更新了

当年我做SEO的时候，robots.txt 就是一行 Disallow 走天下，2003年那会儿防百度蜘蛛跟防贼一样。上周翻旧配置，发现现在的 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot）跟当年的百度蜘蛛完全两码事——它们不看主站 robots，认子目录规则，而且回源频率跟页面更新频率挂钩。

我拿一个老企业站做了个对照实验：主站 robots.txt 不动，单独在 /ai/ 目录下放了个自定义 robots，只允许 AI 爬虫抓取产品参数页和 FAQ 页，其余全挡。同时把这三页的 last-modified 改到最近，并在页面头部加了 X-Robots-Tag 区分。

结果三天后：

1. AI 那边引用确实没起来（意料之中，语料还没消化），但百度快照反而从 7 天前更新到了当天。
2. 查日志发现，百度蜘蛛顺着 /ai/ 目录的 sitemap 把整站爬了一遍——我忘了这目录没做 noindex。
3. 更意外的是，AI 爬虫抓取 /ai/ 下那三页时，带了 Accept: text/markdown 头，意思是它要的是结构化内容，不是 HTML。

判断依据：

• 当年的 nofollow 是为了权重不外流，现在 AI 爬虫的 Disallow 是为了控制“喂什么语料”，逻辑反过来了。
• 但核心没变：robots 是协商，不是命令。你挡它，它绕路走；你放开，它未必来。
• 我留了张对照表：主站 robots 规则、AI 子目录规则、日志里 UA 命中数、快照时间，四列并排看，才看出这个连锁反应。

踩坑提醒：

千万别在主站 robots 里直接 Disallow: / 挡 AI——百度蜘蛛也会读，我 2010 年就这么干过，整站被 K 了两个月。要挡就按 UA 分，或者走子目录隔离，先留对照表再改。

问题抛给大家：

你们有没有试过给 AI 爬虫单独开子目录放结构化内容？我这边想验证一下 X-Robots-Tag: noindex 跟 robots 里的 Disallow 同时上，会不会互相打架？有实测过的老哥说说。