翻出15年前给蜘蛛留的sitemap老表，发现AI爬虫还在按它抓页面

这几天整理老服务器备份，翻出来一份 2010 年左右的 sitemap.xml 和一张手写的优先级对照表。当年为了对付 Google 蜘蛛，我把栏目页 priority 设 0.8，文章页 0.6，tag 页 0.4，还特意把 pagination 的 changefreq 标成 daily。那会儿觉得这就是 SEO 的精细活了。

结果我顺手拿新日志跑了一下，发现几个 AI 爬虫的抓取路径，居然还在沿着这套老优先级走。有几个早年降权的 tag 页，我正文里早就不给内链了，但 sitemap 里 priority 还挂着，AI 爬虫隔三差五就进去转一圈，抓完还把老摘要带进答案里。这事挺有意思——GEO 吵来吵去，底层还是当年那套抓取预算和路径引导，只是蜘蛛换了名字。

我的判断依据很简单：同一套 URL 结构，蜘蛛和 AI 爬虫的路径重合度很高。我拉了 7 天的日志，把 AI 爬虫的抓取频次按目录归了个类，排前面的基本就是当年 sitemap 里 priority 高的那几块。也就是说，你 sitemap 没清干净，等于给 AI 爬虫留了一张旧地图。

当年踩过的坑，现在换个壳又来了：

1. sitemap 里的 lastmod 是批量刷的——这个和社区里说的“更新时间戳造假”是一个根子，AI 爬虫抓几次发现内容没变，后面就不爱来了。
2. tag 页和归档页没做 nofollow 清理——当年为了收录量硬留的，现在成了 AI 爬虫的迷宫入口。
3. 301 跳转链太长——我那张老跳转表，有的链条挂了三四跳，蜘蛛能跟，AI 爬虫跟两跳就断了，抓取预算全浪费在跳转上。

我现在改配置的习惯还是老一套：先留对照表，再动线上。这次我做了张“老 sitemap 优先级 vs 实际 AI 抓取频次”的对照表，把 priority 虚高但没抓取价值的目录先标出来，再决定是删 sitemap 条目还是加 noindex。不先留表就改，出了问题连回滚的依据都没有——当年被百度降权那次就是这么吃的亏。

所以我的看法没变：GEO 不是新东西，是 SEO 的变种。你把 robots、sitemap、内链锚文本这些老底子理清楚，AI 爬虫的路径自然就顺了。反过来，老配置不清，新工具再花哨也是白搭。

问一句：你们翻过自己站的 sitemap 历史版本吗？有没有发现 AI 爬虫还在抓那些你早就想废弃的老目录？