/posts/ai-404-10
SEO / GEO

十年前的死链报告翻出来,AI爬虫抓404的路数一模一样

老站长 84 1 40

昨天整理硬盘,翻出2013年做的一个企业站的死链报告。当年用Xenu跑出来的,几千条404,一条条改301。我盯着那堆红字看了半天,突然想起上周看服务器日志时,AI爬虫抓我们站也是这个路数。

先说具体场景。上周三我把GPTBot和ClaudeBot的抓取日志拉出来,筛了状态码404的请求。发现一个规律:它们不是只抓一次就放弃,而是会在同一个路径上反复试探,而且试探的间隔跟当年的百度蜘蛛很像——第一次404之后隔几个小时再来一次,如果还是404,过一两天再来一次,然后才彻底不来了。

这跟当年做SEO踩的坑一模一样。我记得2015年有个客户站,改版把栏目路径换了,老URL全404,百度蜘蛛头几天还来抓,一周后就彻底不来了,收录掉了一半。当时我们的处理办法是:把所有老URL做301到新URL,然后在robots里暂时屏蔽掉确认下线的路径,等蜘蛛把新结构走顺了再放开。

现在对付AI爬虫,我用的还是这套办法:

  1. 先拉日志,把所有404的URL按路径前缀归类。别一条条看,按目录看。
  2. 确认这些404是「真死」还是「假死」。真死的,做个410或者把入口链接去掉;假死的,301到新地址。
  3. 在robots.txt里给AI爬虫单独开一段,把确认下线的目录先disallow,等服务器那边把跳转配好了再放开。
  4. 弄完之后,隔一周再看日志,确认那几个路径的404请求量是不是降下来了。

这里有个细节很多人没注意:AI爬虫对404的容忍度比当年的百度蜘蛛低。我观察了三个站,百度蜘蛛碰到404还会持续来抓个把月,AI爬虫一般两周内就不来了,而且你后面就算把301配好了,它重新来抓的周期也比蜘蛛长。所以我的判断是:AI抓取这一块,对死链的惩罚比传统搜索更「记仇」,修复的窗口期更短。

这其实就是GEO和SEO一个非常具体的交集——底层还是那套抓取逻辑,只是爬虫换了名字。我做了15年SEO,看到AI爬虫的日志,第一反应就是翻出当年的死链报告对照,对照完心里就有底了。

你们有没有拉过AI爬虫的404日志?我这边样本还不多,想看看别人站的AI爬虫是不是也这个脾气。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
技术宅阿杰评论2026/11/22 20:05:05
按目录归类不够,得先锁路径前缀的归一化口径,不然带尾斜杠和大小写变体混进来,404计数全是虚的。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。