把十五年前的sitemap老表翻出来，我数了数AI爬虫三个月抓了哪些页

前两天整理服务器旧文件，翻出一份2009年给百度蜘蛛留的sitemap.xml。当年这表是我手动写的，lastmod精确到天，priority按栏目权重排，changefreq全是weekly。那会儿讲究的是「给蜘蛛指路」，蜘蛛来了顺着爬，抓得勤快排名就稳。

我顺手把服务器访问日志拉出来，筛了三个月里带AI爬虫UA的请求，按页面路径归了归类，结果有点意思：

• 三个月里AI爬虫一共请求了1.2万次，其中68%落在这份老sitemap列出来的页面上。
• 老sitemap里我标了priority 0.9的那几个栏目页，AI爬虫的抓取频次明显比priority 0.3的页高，比例大概是4:1。
• 更邪门的是lastmod。我有些页面2015年后就没动过，lastmod还停在老日期，AI爬虫照样来抓，但抓完基本不再回来；而那些lastmod在近30天内的页，平均7天就被回抓一次。

说白了，AI爬虫读sitemap的方式，跟当年百度蜘蛛那套没本质区别：你给它一张结构清楚、时间戳可信的表，它就照表抓；你表里全是死链和陈年lastmod，它抓一轮就懒得来了。

我当年踩过的坑，现在换了个壳又摆在这儿：

第一，sitemap里混进大量参数页和分页，当年蜘蛛抓取预算被稀释，现在AI爬虫一样会陷进去。我这次筛日志就发现，有三个带?page=的分页被反复抓了四十多次，正儿八经的内容页一次没进。

第二，robots.txt里Disallow了后台和搜索页，但没管住/print/这种打印版。当年这是典型的内容重复，现在AI爬虫抓了打印版，答案里引的经常是没样式、没导航的那一页，用户体验和品牌露出都吃亏。

第三，锚文本内链。老sitemap只能告诉爬虫有哪些页，告诉不了它这些页之间什么关系。我对比了一下，内链锚文本写得具体的栏目，AI爬虫回抓率高；全是「点击这里」「更多」的，回抓率明显低。这条跟当年做站内链接优化的逻辑一模一样。

我给自己的结论就一句：别急着上新工具、新平台，先把你服务器上那份sitemap拉出来，跟AI爬虫日志对一遍。哪些页被反复抓、哪些页一次没进、lastmod是不是还在骗人，一张对照表列出来，问题基本就现形了。

我这次是先建的对照表再动的配置，改完两周回抓率涨了一截，具体数字还在观察。

想问下各位：你们站上那份sitemap，lastmod是真按内容改动时间更新的，还是建站时批量生成完就再没管过？我猜不少人是后者，不妨去日志里对一下。