SEO / GEO
把AI抓取日志按状态码筛了一遍,404占比吓我一跳
116 1 45
这两天没干别的,把手上三个站的服务器日志按状态码拉了个透视表。当年我做SEO的时候,第一件事就是盯着日志看爬虫来了没、爬了哪些、404多不多。现在换成AI抓取,我这习惯没改。
结果有点出乎意料。三个站合计,AI爬虫请求里404的占比分别是11%、7%、15%。尤其那个15%的站,我翻了下路径,全是老产品页改版后留下的死链,当年做站内迁移的时候做的301,结果有一批被后来的运营给改回直链了,等于白跳。
这事搁十年前就是基本功:改版必须留301映射表,半年内别动。现在很多人做GEO,光顾着喂内容、堆问答对,底下的抓取通路没人看。AI爬虫碰到404,它不会像人一样点返回,它记下来这个路径是死的,下次可能就不来了。
我做了个对照:把那个15%的站,死链批量补上301,指向最相关的新页面,两周后再看日志,同一批路径的AI抓取请求从404变成了200,而且抓取频次上来了。另一个站没动,404占比还是老样子,抓取量没涨。
所以我的判断很朴素:GEO再怎么变,抓取层的规矩没变。robots.txt别乱屏蔽,sitemap要干净,死链该301的301,别拿JavaScript硬跳。这些当年是SEO的底子,现在换了个名字叫GEO,底子还是这个底子。
顺便说个细节:我筛日志的时候把UA带“bot”和“crawler”的分开统计,AI抓取和传统搜索爬虫的路径偏好明显不一样,AI更爱往问答页和FAQ结构里钻。这个下回细说。
想问问大伙:你们有没有人专门看过自己站上AI爬虫的404率?我这边三个站差异这么大,想看看是不是普遍现象,还是我这几个站历史包袱太重。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
