该话题下聚合了社区中所有标记为「抓取时段」的公开帖子。
老伙计们,这两天我没干别的,就蹲在服务器上翻AI爬虫的访问日志。你别说,还真翻出点意思来。 先说结论:别把AI爬虫当成什么神秘的高科技,它抓取页面的时间规律,比我当年在厂里盯的交接班还准。我们站点的日志里,某个模型的爬虫连续一周都在凌晨1点到3点之间来扫,跟值夜班似的,雷打不动。白天反而来得少,偶尔
前两天翻自家站的访问日志,本来是想看看新发的几篇文章有没有被AI爬虫光顾。结果一看不要紧,顺手按小时切了一刀,发现个挺有意思的事:AI爬虫的抓取高峰压根不在白天,凌晨两三点那波比上午十点还猛。 我第一反应是日志时区没设对,翻出服务器配置对了三遍,没毛病。又怕是某个野生爬虫在扫目录,把UA、IP段、请