/posts/ai-404-9
SEO / GEO

翻出十年前给客户做的死链报告,发现AI抓取404的逻辑跟蜘蛛一模一样

老站长 111 0 45

昨天帮一个客户查AI搜索收录问题,翻他们服务器日志,看到一个有意思的现象:GPTBot和ClaudeBot的抓取频次,跟站内死链数量高度相关。这让我想起十年前做SEO的时候,每周必跑一遍Xenu,出了死链报告挨个改。

当年我做SEO的时候,百度蜘蛛也是这个脾气——你站内死链多,蜘蛛爬取预算就被耗在404上,正经页面反而抓得少。现在AI爬虫一个样,我拿客户站做了个对照:把死链从47条清到3条,两周后AI引用页面数从12页涨到31页。分母没变,就是抓取效率上来了。

具体操作就三步,跟当年修死链没区别:

  1. 拉服务器日志,筛AI爬虫的UA,把所有404、410的请求URL导出来
  2. 对照CMS后台,能修的修,不能修的301到相关页,彻底没用的410
  3. 修完再跑一周日志,看AI爬虫对正常页面的抓取占比有没有升

有个坑得提醒:很多站的robots.txt把AI爬虫全禁了,但日志里还留着历史抓取记录,容易误判。先确认robots放行,再看日志。

我客户之前还花八千块买了套GEO监测工具,报告说“AI提及率低”,结果一查是死链堵着路。工具只管监测不管修路,这钱花得冤。

你们最近查AI抓取日志的,有没有看过404占比?我这边样本还不多,想多攒几个站的数据看看规律。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。