十年前的死链报告翻出来,AI爬虫抓404的路数一模一样
2026/11/22昨天整理硬盘,翻出2013年做的一个企业站的死链报告。当年用Xenu跑出来的,几千条404,一条条改301。我盯着那堆红字看了半天,突然想起上周看服务器日志时,AI爬虫抓我们站也是这个路数。 先说具体场景。上周三我把GPTBot和ClaudeBot的抓取日志拉出来,筛了状态码404的请求。发现一个规
#SEO#AI搜索#做了15年SEO的资深站长#抓取日志#404页面#死链处理#十年前的死链报告翻出来
SEO / GEO
老站长1 回复41 赞