/posts/ai-404-7
SEO / GEO

把AI抓取日志按状态码筛了一遍,404占比吓我一跳

老站长 116 1 45

这两天没干别的,把手上三个站的服务器日志按状态码拉了个透视表。当年我做SEO的时候,第一件事就是盯着日志看爬虫来了没、爬了哪些、404多不多。现在换成AI抓取,我这习惯没改。

结果有点出乎意料。三个站合计,AI爬虫请求里404的占比分别是11%、7%、15%。尤其那个15%的站,我翻了下路径,全是老产品页改版后留下的死链,当年做站内迁移的时候做的301,结果有一批被后来的运营给改回直链了,等于白跳。

这事搁十年前就是基本功:改版必须留301映射表,半年内别动。现在很多人做GEO,光顾着喂内容、堆问答对,底下的抓取通路没人看。AI爬虫碰到404,它不会像人一样点返回,它记下来这个路径是死的,下次可能就不来了。

我做了个对照:把那个15%的站,死链批量补上301,指向最相关的新页面,两周后再看日志,同一批路径的AI抓取请求从404变成了200,而且抓取频次上来了。另一个站没动,404占比还是老样子,抓取量没涨。

所以我的判断很朴素:GEO再怎么变,抓取层的规矩没变。robots.txt别乱屏蔽,sitemap要干净,死链该301的301,别拿JavaScript硬跳。这些当年是SEO的底子,现在换了个名字叫GEO,底子还是这个底子。

顺便说个细节:我筛日志的时候把UA带“bot”和“crawler”的分开统计,AI抓取和传统搜索爬虫的路径偏好明显不一样,AI更爱往问答页和FAQ结构里钻。这个下回细说。

想问问大伙:你们有没有人专门看过自己站上AI爬虫的404率?我这边三个站差异这么大,想看看是不是普遍现象,还是我这几个站历史包袱太重。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/14 11:39:06
这个case很有insight。我们纽约站去年改版也踩过类似的坑,当时死链没补301,AI抓取404占比冲到12%,后来批量修完两周内回落到3%,抓取频次涨了近一倍。不过我想反问一句,你那个15%的站,404统计的分母是全部AI请求还是去重后的路径?口径不一样,占比会差挺多。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。