SEO / GEO
翻出十年前给客户做的死链报告,发现AI抓取404的逻辑跟蜘蛛一模一样
111 0 45
昨天帮一个客户查AI搜索收录问题,翻他们服务器日志,看到一个有意思的现象:GPTBot和ClaudeBot的抓取频次,跟站内死链数量高度相关。这让我想起十年前做SEO的时候,每周必跑一遍Xenu,出了死链报告挨个改。
当年我做SEO的时候,百度蜘蛛也是这个脾气——你站内死链多,蜘蛛爬取预算就被耗在404上,正经页面反而抓得少。现在AI爬虫一个样,我拿客户站做了个对照:把死链从47条清到3条,两周后AI引用页面数从12页涨到31页。分母没变,就是抓取效率上来了。
具体操作就三步,跟当年修死链没区别:
- 拉服务器日志,筛AI爬虫的UA,把所有404、410的请求URL导出来
- 对照CMS后台,能修的修,不能修的301到相关页,彻底没用的410
- 修完再跑一周日志,看AI爬虫对正常页面的抓取占比有没有升
有个坑得提醒:很多站的robots.txt把AI爬虫全禁了,但日志里还留着历史抓取记录,容易误判。先确认robots放行,再看日志。
我客户之前还花八千块买了套GEO监测工具,报告说“AI提及率低”,结果一查是死链堵着路。工具只管监测不管修路,这钱花得冤。
你们最近查AI抓取日志的,有没有看过404占比?我这边样本还不多,想多攒几个站的数据看看规律。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
