刚把服务器日志按UA拆完,AI爬虫来的路径跟当年百度蜘蛛一个德性
最近没怎么在社区说话,但手没停。我把手里一个老站的服务器访问日志按 User-Agent 拆了一遍,专门盯 AI 爬虫。拆完就一个感觉:这玩意儿跟当年百度蜘蛛刚起来的时候一模一样。
先交代背景。这站是个传统行业站,内容更新不算勤,但结构干净,是我2016年亲手把目录层级压到三层的。最近一个月日志里,AI 爬虫的 UA 大概占了总抓取量的 11%,绝对量不大,但路径很集中。
具体说三个观察。
第一,AI 爬虫不是按 sitemap 来的。我 sitemap 里提交了 4000 多条 URL,日志里 AI 爬虫实际命中的只有 600 多条,而且这 600 多条里,有 70% 是从首页或频道页直接一跳进来的。这个行为跟当年百度蜘蛛早期一模一样——先顺着内链爬你最重要的几页,sitemap 它扫,但不太当真。所以我的判断是:别指望 sitemap 解决 GEO 抓取问题,内链结构才是命根子。
第二,robots.txt 它确实看,但只看 Disallow 和 Sitemap 两行。我单独在 robots 里写了 Crawl-delay,日志显示完全没生效,AI 爬虫该来还是来,频率没降。这点比百度当年还激进。但反过来,我 Disallow 掉的 /search/ 目录,它一次都没碰过,执行得很干净。所以我现在的做法是,robots 里只写这两样,其他花活别加。
第三,抓取时段很规律。我这个站的 AI 爬虫请求,80% 集中在凌晨 2 点到 5 点,跟当年百度、谷歌的抓取窗口高度重叠。这意味着什么?如果你服务器在这个时段跑备份或者全量同步,很可能 AI 爬虫拿到的就是超时页。我上周就抓到一次,凌晨 3 点一批请求全是 503,第二天再看,那批 URL 的抓取频率直接降了。这坑跟当年 nofollow 没写对导致权重漏掉一样,看着小,实际影响大。
我的结论就一句:GEO 这词新,但底下跑的还是老引擎那套逻辑——内链、robots、状态码、抓取窗口,一个都没变。我做了15年SEO,这些坑全踩过一遍,现在只是换了个名字再踩一遍。
我抛个问题:你们有人对比过 AI 爬虫和百度蜘蛛的抓取路径重叠率吗?我这边粗算大概 60% 重合,剩下 40% 的差异我还没想明白是内容类型导致的还是结构导致的,有数据的兄弟一起对一下。
