该话题下聚合了社区中所有标记为「翻出十五年前的sitemap.xml」的公开帖子。
这两天整理老服务器备份,翻出一份2009年的sitemap.xml,里面还有当年手动写的priority和lastmod。顺手拿它跟现在几个AI爬虫的访问日志对了一下,结果挺意外——AI爬虫基本不主动抓sitemap,它们更多是顺着外链和内部链接结构爬。当年我做SEO的时候,提交sitemap就是头