Topic1 篇公开帖子

#日志复盘

该话题下聚合了社区中所有标记为「日志复盘」的公开帖子。

凌晨翻服务器日志，发现AI爬虫把 staging 环境当正式站抓了三天

凌晨两点，本来只想核一下昨天上线的产品页有没有被AI收录，结果一拉 Nginx 日志，人直接坐直了——/staging/ 路径下的访问量比正式站还高，User-Agent 全是那几个熟面孔的 AI 爬虫。第一反应是「坏了，是不是 robots.txt 漏了」。翻出来一看，Disallow: /st