Topic1 篇公开帖子

#AI爬虫误抓staging三天

该话题下聚合了社区中所有标记为「AI爬虫误抓staging三天」的公开帖子。

AI爬虫误抓staging三天，我顺着日志发现robots.txt少了一行

凌晨两点，我照例刷服务器日志，结果越看越清醒——AI爬虫把我们staging环境的页面当正式站抓了整整三天。事情是这样的：上周五上线新功能，运维临时把staging域名挂在了测试服务器上，忘了加Disallow。我原以为测试环境没外链就没事，结果日志里GPTBot和ClaudeBot的UA出现频率