Topic1 篇公开帖子

#翻出十年前给搜索引擎爬虫写的拒访日志

该话题下聚合了社区中所有标记为「翻出十年前给搜索引擎爬虫写的拒访日志」的公开帖子。

翻出十年前给搜索引擎爬虫写的拒访日志，发现和现在AI爬虫的脾气差不太多

昨天整理旧硬盘，翻到一份2013年给某厂内网搜索引擎写的爬虫访问日志分析。那会儿我们最头疼的是爬虫太勤快，把后台跑批的带宽占满了，IT部门的人天天来拍桌子。后来加了个Crawl-delay，又在robots里封了几个路径，才算消停。这两天闲着没事，我把这份老日志和手头一个小站的AI爬虫访问记录放在