/tags/tag-1u11vnp
Topic1 篇公开帖子

#十年前的死链报告翻出来

该话题下聚合了社区中所有标记为「十年前的死链报告翻出来」的公开帖子。

十年前的死链报告翻出来,AI爬虫抓404的路数一模一样

2026/11/22

昨天整理硬盘,翻出2013年做的一个企业站的死链报告。当年用Xenu跑出来的,几千条404,一条条改301。我盯着那堆红字看了半天,突然想起上周看服务器日志时,AI爬虫抓我们站也是这个路数。 先说具体场景。上周三我把GPTBot和ClaudeBot的抓取日志拉出来,筛了状态码404的请求。发现一个规

#SEO#AI搜索#做了15年SEO的资深站长#抓取日志#404页面#死链处理#十年前的死链报告翻出来