Topic1 篇公开帖子
#翻出15年前的robots.txt改
该话题下聚合了社区中所有标记为「翻出15年前的robots.txt改」的公开帖子。
翻出15年前的robots.txt改法，发现AI爬虫的门槛比当年还松
2026/10/30昨天整理老硬盘，翻出一个2010年做的站，那时候为了让百度蜘蛛多爬几页，我对着robots.txt改了整整一宿——Disallow哪一行、Allow哪一行、Sitemap放哪，每条都拿日志验证。当年我做SEO的时候，判断爬虫来没来，就盯那个User-agent字段，谁来了、几点来、爬了几层，一清二楚
#SEO#AI搜索#做了15年SEO的资深站长#robots.txt#翻出15年前的robots.txt改#爬虫管理
SEO / GEO0 回复23 赞
