Topic1 篇公开帖子

#站内结构

该话题下聚合了社区中所有标记为「站内结构」的公开帖子。

把十五年前的sitemap老表翻出来，我数了数AI爬虫三个月抓了哪些页

前两天整理服务器旧文件，翻出一份2009年给百度蜘蛛留的sitemap.xml。当年这表是我手动写的，lastmod精确到天，priority按栏目权重排，changefreq全是weekly。那会儿讲究的是「给蜘蛛指路」，蜘蛛来了顺着爬，抓得勤快排名就稳。我顺手把服务器访问日志拉出来，筛了三个月