翻出十五年前的sitemap.xml，发现AI爬虫根本不看这玩意儿

这两天整理老服务器备份，翻出一份2009年的sitemap.xml，里面还有当年手动写的priority和lastmod。顺手拿它跟现在几个AI爬虫的访问日志对了一下，结果挺意外——AI爬虫基本不主动抓sitemap，它们更多是顺着外链和内部链接结构爬。当年我做SEO的时候，提交sitemap就是头等大事，现在这套逻辑对AI爬虫来说并不是重点。

具体说下我怎么对的。我先从日志里筛出GPTBot、ClaudeBot、PerplexityBot这几类UA的访问记录，然后拿它们请求过的URL去跟sitemap里的URL清单做匹配。结果匹配率不到两成。反过来，我把内链锚文本做了一张对照表，看AI爬虫爬过的页面之间靠什么锚文本连起来，发现锚文本描述越清楚、上下文越具体的链接，被跟进去的概率明显更高。

这让我想起当年nofollow刚出来那阵，大家都以为加上nofollow就能控制蜘蛛不乱爬，结果后来发现蜘蛛该爬还是爬，只是权重不传递而已。现在挡AI爬虫也是一个道理，你光在robots.txt里写Disallow，它可能压根不看你这个文件，得看它实际是怎么进来的。

所以我的判断是：GEO优化里，与其花时间搞sitemap提交、robots规则这些表面功夫，不如先把内链结构和锚文本质量做扎实。我现在的做法是，每改一次内链配置，先留一张对照表，记清楚改之前爬虫的访问路径、改之后的变化，跑够两周再下结论。没有对照表就动手改，改完你都不知道是哪个动作起的作用。当年我吃过这种亏，一次改五个地方，最后出问题根本找不到是哪个引起的。

还有个细节，旧sitemap里那些priority写0.8、0.9的页面，现在AI爬虫访问频率跟priority值基本没关系，倒是页面本身的更新频率和外部引用数影响更大。

你们有没有人系统对过AI爬虫的访问日志和sitemap的匹配率？我这份样本只覆盖了三个站，想看看别人那边是不是也这个规律。