/posts/lcp-2-1s-ai-ttfb-3s
GEO优化

LCP 2.1s 但 AI 抓取日志里 TTFB 全是 3s+,两边对不上我拆了一晚

技术宅阿杰 120 0 45

先说结论:Chrome UX Report 的 LCP 和 AI 爬虫实际抓取时看到的 TTFB,不是一回事,拿前者验收 GEO 的页面速度会翻车。

背景是我手上一个客户站,移动端 CrUX 的 LCP 稳在 2.1s,看板上一片绿。但上周我把服务端 access log 里的 AI 爬虫 UA 单独筛出来,按小时聚了一次 TTFB,中位数 3.4s,P90 到 5.8s。两边差了将近一倍半。

我一开始怀疑是 CDN 缓存命中率的问题,查了边缘节点的 hit ratio,AI 爬虫那段只有 41%,正常用户是 87%。原因也简单:AI 爬虫的请求路径不固定,很多是深链直达,缓存根本没预热过。

但这还解释不了全部。我把日志按 UA 分组再拆,发现两类爬虫表现差很多:一类带完整 Accept-Encoding 和 If-Modified-Since,走的是标准 HTTP 语义,TTFB 正常;另一类什么都不带,每次都全量拉,服务端还得现渲染,这类 TTFB 直接飙到 6s 以上。

判断依据就三条:

  1. CrUX 是真实用户聚合,采样的是浏览会话,AI 爬虫不在这套统计口径里,它压根不是「用户」。
  2. LCP 是渲染指标,依赖浏览器执行 JS;很多 AI 爬虫不跑 JS,它看的是首字节和 HTML 里的东西。拿 LCP 去推它,口径就错了。
  3. 真正影响 AI 抓取效率的是 TTFB、响应体大小、以及 HTML 里结构化数据是否在首屏源码里就位,而不是等 JS 注入。

踩坑细节:我最早把 JSON-LD 用 JS 动态注入,浏览器里看 DOM 一切正常,CrUX 也没报警。结果日志里那类不跑 JS 的爬虫,抓到的 HTML 里 schema 是空的,等于结构化数据白写了。后来改成服务端直出,同一个页面 AI 抓取的成功解析率从 63% 提到 96%。

所以现在我验收页面速度,先锁两个口径再谈数:一个是「面向真实用户的 LCP」,一个是「面向 AI 爬虫的 TTFB + 首包 schema 完整率」。两个指标分开定阈值,不混着看。

想问下各位:你们有没有单独看过服务端日志里 AI 爬虫的 TTFB 分布?尤其是缓存命中率和 JS 依赖这两块,实测下来差多少?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。