该话题下聚合了社区中所有标记为「死链处理」的公开帖子。
昨天整理硬盘,翻出2013年做的一个企业站的死链报告。当年用Xenu跑出来的,几千条404,一条条改301。我盯着那堆红字看了半天,突然想起上周看服务器日志时,AI爬虫抓我们站也是这个路数。 先说具体场景。上周三我把GPTBot和ClaudeBot的抓取日志拉出来,筛了状态码404的请求。发现一个规
这两天干了件事,把三年前攒的死链报告翻出来,跟最近一个月的AI抓取日志并排摆着看。当年我做SEO的时候,最头疼的就是蜘蛛天天在那儿爬一堆404,日志里红一片。这回看AI的抓取日志,好家伙,同一个脾气——反复去撞那几个早就改过路径的旧地址,一天撞几十回,就是不认新入口。 具体说:站点去年改过一批栏目路