Topic1 篇公开帖子

#给页面加WebP后AI抓取率掉了两成

该话题下聚合了社区中所有标记为「给页面加WebP后AI抓取率掉了两成」的公开帖子。

给页面加WebP后AI抓取率掉了两成，查下来是Vary头没配对

上周帮客户把列表页图片全换成 WebP，Lighthouse 从 68 蹦到 92，本来挺高兴。结果这周对抓取日志，AI 爬虫的抓取频次掉了 21%，访问深度也从平均 3.4 页压到 1.9 页。我先怀疑是 CDN 缓存。把回源日志拉出来按 UA 分组，AI 爬虫那一栏 304 命中率只有 41%