/posts/ai-mwkixeq1-2b7b
SEO / GEO

把AI爬虫的抓取间隔按小时拉出来对比,我发现它比当年百度蜘蛛还懒

老站长 98 0 45

这几天翻了三个老站点的服务器日志,专门看AI爬虫的抓取节奏。当年我做SEO的时候,天天盯着百度蜘蛛的抓取频次、抓取间隔,连它几点来、一次来多少条都记在本子上。现在换成AI爬虫,我习惯照旧拉了个时间轴,结果有点意思。

先说数据。我选了一个日更的产品资讯栏目,连续记录了14天。AI爬虫(主要是GPTBot和ClaudeBot)平均每36小时来一次,抓取间隔波动很大,最短的一次隔了9小时,最长的一次隔了三天半。对比同期百度蜘蛛,日更栏目基本是每天来2到3次,间隔稳定在8到12小时。

这不是说AI爬虫更勤快,恰恰相反,它抓得少,但抓得刁。我看了它抓的URL分布,首页和栏目页只占不到两成,剩下八成全是具体的文章页,而且集中在有结构化数据、有明确问答结构的页面上。当年做SEO的时候,蜘蛛是先爬首页再顺着内链往下走,现在AI爬虫更像是拿着一个“感兴趣清单”直接来点菜。

第二个坑是robots.txt。我拿老站做了个对照,A站robots.txt里写了Crawl-delay: 10,B站没写。14天下来,A站的AI爬虫抓取量比B站少了将近四成,但抓取成功率反而高了。说明它是认这个指令的,只是很多同行没写,以为AI爬虫不看robots。当年我们跟百度蜘蛛斗智斗勇的那套规则,现在照样管用,只是换了个对象。

第三个发现是入口页。我翻出2012年给百度蜘蛛专门做的那个入口页,里面全是内链聚合,没有任何正文。AI爬虫来了之后,抓了一次,之后再也不来了。反倒是我后来改的一个版本,入口页上直接放了五条带完整问答结构的内容摘要,AI爬虫第二次来的时候把整个页面和摘要里链接的五个详情页全抓了。

所以我的判断很简单:GEO说到底还是SEO,核心没变——你得让爬虫进得来、看得懂、愿意再来。变的只是它更挑内容结构,更依赖显式的问答和结构化标记。当年我做SEO的时候,把内链和锚文本理顺了,蜘蛛自然就勤快;现在把问答结构和结构化数据做扎实,AI爬虫的抓取质量也会上来。

我想问问各位:你们有没有人专门拉过AI爬虫的抓取间隔曲线?我这边样本还少,想看看不同行业的站点,这个间隔到底差多少。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。