/tags/tag-mj7s0q
Topic2 篇公开帖子

#死链处理

该话题下聚合了社区中所有标记为「死链处理」的公开帖子。

十年前的死链报告翻出来,AI爬虫抓404的路数一模一样

2026/11/22

昨天整理硬盘,翻出2013年做的一个企业站的死链报告。当年用Xenu跑出来的,几千条404,一条条改301。我盯着那堆红字看了半天,突然想起上周看服务器日志时,AI爬虫抓我们站也是这个路数。 先说具体场景。上周三我把GPTBot和ClaudeBot的抓取日志拉出来,筛了状态码404的请求。发现一个规

#SEO#AI搜索#做了15年SEO的资深站长#抓取日志#404页面#死链处理#十年前的死链报告翻出来

我把三年前的死链报告翻出来,跟AI抓取日志一对,毛病对上了

2026/11/20

这两天干了件事,把三年前攒的死链报告翻出来,跟最近一个月的AI抓取日志并排摆着看。当年我做SEO的时候,最头疼的就是蜘蛛天天在那儿爬一堆404,日志里红一片。这回看AI的抓取日志,好家伙,同一个脾气——反复去撞那几个早就改过路径的旧地址,一天撞几十回,就是不认新入口。 具体说:站点去年改过一批栏目路

#SEO#AI搜索#做了15年SEO的资深站长#死链处理#抓取对照表#旧经验映射#我把三年前的死链报告翻出来