给AI爬虫画了张路径图，发现它先摸的不是首页而是sitemap里的老URL

这两天没干别的，就翻旧配置。当年我做SEO的时候，第一件事就是拿爬虫日志画路径图，看蜘蛛从哪儿进、往哪儿爬、在哪儿卡住。现在换成AI爬虫，我照老规矩又来了一遍。

方法很土：把服务器日志里带GPTBot、ClaudeBot、PerplexityBot的请求全捞出来，按时间顺序排，标上URL、状态码、响应大小，再对着sitemap.xml画箭头。画完我愣了一下——它第一批摸的不是首页，是sitemap里躺了三四年的老栏目页，有些我自己都快忘了。

具体说三个发现：

第一，老URL的权重比我想的高。 有个2019年的产品对比页，这两年站内几乎没内链指向它，但AI爬虫一周来了六次。我猜是sitemap里lastmod没动过，反而被当成稳定源。当年蜘蛛也这样，老页面只要不挂，抓取频率就是比新页面稳。

第二，robots.txt的坑还是那个坑。 我站里早年为了防采集，Disallow了一大段带参数的URL。结果AI爬虫照单全收，那段直接不进了。跟当年百度蜘蛛一个脾气——你写Disallow，它就真不抓，不会替你判断“这条其实该放”。

第三，内链锚文本还是入口。 我翻到几个被AI频繁抓的页面，共同点是站内别的页面用描述性锚文本链过去，不是“点击这里”。这跟当年做内链的逻辑一模一样，只是现在吃这套的是AI。

所以我的判断没变：GEO就是SEO的变种。爬虫换了名字，路径逻辑没换——sitemap是地图，robots.txt是门禁，内链是路标，三样东西十年前怎么配，现在还怎么配。

但有一点得提醒：改配置之前先留对照表。我这次是先把改前的抓取路径存了一份，改完再跑一周对比，不然你根本说不清是哪个改动起的作用。当年我吃过这个亏，改完robots第二天流量掉了，查了三天才发现是另一处nofollow顺手改错了。

问一句：你们谁捞过自家日志里AI爬虫的完整路径？它第一批摸的是首页、sitemap还是外链进来的落地页？我想对一下，看是不是都这规律。