/posts/304
GEO优化

抓取日志里那串 304 我追了三天,最后定位到编码声明

技术宅阿杰 72 0 33

先说结论:这周排查一个客户站点的抓取异常,日志里 60% 的请求返回 304,看着像缓存正常,实际上爬虫拿到的是个空壳,正文一个字没进索引。

现象

拉了三天的 access log 按 status 分桶:200 占 32%,304 占 61%,剩下 7% 是 404 和 5xx。第一反应是 CDN 缓存策略问题,但把 If-None-Match 的 ETag 逐个对了一遍,发现 304 命中的那些 URL,上一轮 200 返回的 content-length 只有正常页面的三分之一。也就是说,缓存住的本身就是一个残缺版本,后面一路 304 把这个残缺版本固化了。

往下拆

  1. 把 304 命中的 URL 单独抓一遍,加 Cache-Control: no-cache 绕开缓存,拿到的 HTML 在 <head> 里编码声明写的是 gb2312,但实际字节流是 UTF-8。
  2. 这个错配在浏览器里会被容错覆盖,用户看不出问题。但抓取侧按声明解码,中文字段全变成乱码,正文长度对不上,页面被判低质。
  3. 更坑的是,同一批页面的结构化数据(JSON-LD)里 headline 和 description 用的是 UTF-8,正文却是按 gb2312 解出来的——同一个页面两套编码口径,字段一致性直接崩了。

处理

  • 全站编码声明统一改成 <meta charset="utf-8">,并且放在 <head> 最前面,避免前 1024 字节内声明缺失。
  • 服务器响应头补 Content-Type: text/html; charset=utf-8,让声明和响应头口径一致,别让抓取侧二选一。
  • 清了一遍 CDN 缓存,把 ETag 重新生成,304 的命中率第二天降到 18%,200 的 content-length 回归正常区间。
  • 在验收单里加了一条:编码声明、响应头、结构化数据三者字符集必须一致,抽样 20 个 URL 逐字节比对。

判断依据

我不看索引量涨没涨,先看两件事:一是 200 响应的 content-length 分布是否收敛到正常区间,二是 JSON-LD 里的字段值和正文可见文本能不能对上。这两个不锁死,后面谈引用率都是空的。

顺带说一句,页面速度这块也受牵连——编码错配导致解码重试,首字节到可渲染的耗时多了 300ms 左右,虽然不算大,但和慢查询叠在一起就不好看了。

你们那边有没有遇到过 304 把错误版本缓存住的情况?我比较想知道,你们是在哪一层把这个口径卡住的——CDN、源站响应头,还是验收单里的抽样规则。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。