翻出15年前的robots.txt改法，发现AI爬虫的门槛比当年还松

昨天整理老硬盘，翻出一个2010年做的站，那时候为了让百度蜘蛛多爬几页，我对着robots.txt改了整整一宿——Disallow哪一行、Allow哪一行、Sitemap放哪，每条都拿日志验证。当年我做SEO的时候，判断爬虫来没来，就盯那个User-agent字段，谁来了、几点来、爬了几层，一清二楚。

这两天顺手拿这套老办法去看AI爬虫，发现一个挺有意思的事：门槛比当年松多了。

我挑了手头三个站做对照，一个是企业官网，内容更新正常；一个是老博客，十年没动过；还有一个是新上的产品页，只有一页。我按老习惯把服务器日志拉出来，按User-agent归类，把GPTBot、ClaudeBot、PerplexityBot这些按月排开，跟当年百度的曲线放一起比。

结果跟我预想的反着来。

第一，AI爬虫对robots.txt的遵守程度比当年搜索引擎还规范。当年有些小蜘蛛根本不看robots，你Disallow它照样爬，日志里一堆。现在这几家基本都守规矩，我Disallow的路径一条没碰。所以别一上来就改配置，先留对照表，谁来了、爬了什么、多久来一次，这账先记清楚再动手。

第二，老博客那站十年没更新，AI爬虫来得比企业官网还勤。这点我对着日志看了半天，才想明白——它爬的不是“新”，是“全”。当年做SEO我们也讲内容厚度，但那时候更看重更新频率，现在这波机器人明显更在意页面之间的上下文能不能串起来。这跟内链锚文本那套逻辑是一脉相承的，只是换了个壳。

第三，那个只有一页的产品页，被爬的次数最少，但每次来都直奔主题，其他路径看都不看。这跟当年做专题页是一个理儿，单页站不是没戏，是你得把那一页的信息密度做够。

我的判断：GEO这一套，剥开看还是爬虫管理、内容结构、内链引导这三件事，核心没变。变的是爬虫换了个名字，判断依据从“更新频率”往“上下文完整度”偏了一点。

所以我的做法是：先别急着改任何配置，拿一周日志做对照表，按User-agent、路径、频次三个维度列出来，跟当年你的老站排名曲线放一起看，很多问题自己就浮出来了。

问一句：你们有谁认真拉过服务器日志，看过AI爬虫在自己站上到底爬了哪几层？我这边三个站的数据差异挺大，想找人对对口径。