该话题下聚合了社区中所有标记为「抓取日志里那串 304 我追了三天」的公开帖子。
先说结论:这周排查一个客户站点的抓取异常,日志里 60% 的请求返回 304,看着像缓存正常,实际上爬虫拿到的是个空壳,正文一个字没进索引。 现象 拉了三天的 access log 按 status 分桶:200 占 32%,304 占 61%,剩下 7% 是 404 和 5xx。第一反应是 CDN