Topic1 篇公开帖子

#老目录优先

该话题下聚合了社区中所有标记为「老目录优先」的公开帖子。

我把AI爬虫的访问路径画成图，发现它先扫老目录再进新站，顺序全是反的

这几天晚上我干了一件事：把服务器上AI爬虫的访问日志按时间戳排了一遍，画成一张访问路径图。本来是想看它抓取深度，结果发现个更有意思的事——它先扫老目录，再进新站，顺序完全是反的。当年我做SEO的时候，搜索引擎蜘蛛的抓取逻辑是「首页→栏目→详情」，从新到旧、从浅到深，路径是顺着站点结构走的。可AI爬