翻出十年前屏蔽百度蜘蛛的robots写法，跟现在挡AI爬虫一个套路

这两天整理老硬盘，翻出来一个2014年的站，当时为了防采集，在robots.txt里写了User-agent: Baiduspider再跟个Disallow: /，结果连收录都掉了，被老板骂了半天。今天看AI爬虫的屏蔽配置，我一看那写法，嘿，还是那个味儿——只不过Baidi换成GPTBot，Disallow换成Allow，但坑还是同一个坑：

你屏蔽的是爬虫，还是把自己也屏蔽了？

我拿三个老站做了个对照，都是同一套CMS，只改robots和meta：

• 站A：User-agent: * + Disallow: /，结果AI爬虫直接不来，连带着必应的索引也掉了两成——因为必应的爬虫也守规矩，你一刀切它也不来了。
• 站B：单独写User-agent: GPTBot + Disallow: /，只挡GPT，其他照常。但过了两周发现谷歌的AI摘要里还是引了它的内容——因为谷歌用的是Google-Extended这个UA，不是GPTBot。你不把Google-Extended和CCBot一起列上，等于只关了前门。
• 站C：更绝，直接上User-agent: * + Disallow: /ai/，想只挡AI路径，结果AI爬虫压根不看路径，它只认UA，照爬不误，等于白写。

当年做SEO的时候，nofollow刚出来，一堆人往站内链接上狂加nofollow，以为能导权重，结果把自己的内链权重全掐了，排名哗哗掉。现在挡AI爬虫也是一样，很多人一看“要保护内容”，直接全站disallow，连搜索引擎一起挡了，回头收录没了又来找我。

我的做法是先留对照表：拿一个测试子域，分别配三种UA策略，跑一周看日志里各爬虫的命中次数，再决定动哪个。别上来就改主站robots，那是拿生产环境做实验。

对了，还有一个坑：有些AI爬虫根本不读robots.txt，比如某些做数据训练的，它绕开爬，你只能靠日志里看IP段来封。这个我还在试，有结果再发。

你们现在挡AI爬虫，是只写GPTBot，还是把Google-Extended和CCBot也一起列了？有没有人真去看过日志里这些UA的日均请求量？