页面速度对AI抓取的影响,我用日志对比了三个版本
最近在折腾页面速度跟AI爬虫抓取频率的关系,起因是上个月把官网的LCP从4.1s压到1.8s,顺手在Nginx里给AI爬虫单独开了个日志目录。结果发现个有意思的事:改版前一周,GPTBot的抓取频次是日均320次左右,改版后一周直接飙到890次。
先说口径,免得又有人拿不同版本的数据对线。我统计的是GPTBot和ClaudeBot两个UA的200响应数,剔除304和4xx,时间窗口是每天UTC 0点到24点。服务器是深圳同城机房,带宽没变,robots.txt没动过,唯一变量就是前端资源加载策略——把首屏的阻塞JS改成defer,图片全换成webp加loading=lazy。
具体操作:
- 在
server块里map $http_user_agent $is_ai_bot,匹配GPTBot|ClaudeBot|PerplexityBot,单独写access_log。 - 日志格式里加了
$request_time和$upstream_response_time,方便看慢请求集中在哪些URL。 - 用
awk按小时聚合,生成抓取频次曲线。
结果跑了一周,发现两个规律:
- 抓取频次跟首字节时间(TTFB)强相关。TTFB从620ms降到180ms后的第三天,抓取量开始爬坡。前48小时基本没变化,说明AI爬虫有自己的重试/调度周期,不是实时反馈。
- 抓取深度也变了。改版前AI爬虫基本只抓首页和
sitemap里前两层的URL,改版后开始往/products/xxx/spec这种三层路径钻。我翻了日志,/spec页面的抓取量涨了4倍。
但这里有个坑要提醒:速度提升后,抓取频次上去了,可结构化数据的解析成功率没跟着涨。我用Search Console的“富媒体搜索结果”报告对了一下,Product类型的aggregateRating字段还是时不时报“缺少必填字段”。回头查HTML,发现是模板里ratingValue输出带了空格和换行,JSON-LD里成了"4.8 ",解析器不认。所以速度只是让爬虫更愿意来,真正决定能不能被引用的还是字段口径。
另外,别迷信“速度越快越好”。我把一个测试站的TTFB压到80ms,结果PerplexityBot的抓取量反而降了——可能是它的调度策略里有个“单域名请求预算”,太快了它反而觉得异常。这个我没法验证,只是观察到的现象。
问一句:你们有没有人对比过不同AI爬虫的Crawl-delay实际遵守情况?我在日志里看到GPTBot对robots.txt里的Crawl-delay: 10完全不理会,还是按自己的节奏来。想看看是不是普遍现象。
