/posts/ai-405-429-2
GEO优化

拆了一周AI抓取日志,405和429的统计分母到底该不该去重

技术宅阿杰 91 1 45

最近一周把自家站点的AI爬虫日志单独捞出来跑了一遍,发现两个状态码的占比高得离谱:405(Method Not Allowed)和429(Too Many Requests)。先说结论:这两个数在周报里如果不锁口径,基本没法用来判断抓取健康度。

先摆实测样本:

  • 时间窗:近 7 天,去掉了凌晨 2-4 点的维护窗口
  • 识别方式:UA + IP 反查,UA 里带 GPTBot / ClaudeBot / PerplexityBot 的单独分组
  • 总量:约 4.2 万次请求,405 占 6.8%,429 占 3.1%

踩坑点在于分母。我第一次统计时按「原始请求数」算,429 占比 3.1%;后来按「去重后的 URL 数」算,直接掉到 0.7%。差了 4 倍多,因为限流大部分打在同一个高频 URL 上。

所以我现在坚持两条:

  1. 429 必须区分「按 IP 限」还是「按 UA 限」。 我们 Nginx 配的是 limit_req_zone 按 IP,结果同一个出口 IP 后面挂了好几个爬虫实例,429 全算到一个 IP 头上,日志里看不出是哪个 bot 被限。后来加了 $http_user_agent 的 hash key 才拆开。
  2. 405 大多不是爬虫的锅,是自己路由没配。 我抓了 405 的 top 20 URL,发现全是 POST 到静态页的误请求,大概率是 AI 在试表单接口。这块要么在 robots 里明确,要么在 WAF 层直接返回 403 而不是 405,避免被当成可用端点反复试。

还有个细节:日志里的时间戳要统一到 UTC 再比,不然和 CDN 边缘节点的统计对不上,我第一版周报就是因为时区差 8 小时,429 峰值时间全错位了。

现在我的验收口径是:先锁分母(原始 / 去重 / 按 URL 聚合三选一写死),再按 IP 和 UA 两个维度拆 429,405 单独走路由问题清单。 不锁口径的抓取健康度,都是自嗨。

想问下各位:你们统计 429 的时候,分母是按「请求数」还是「去重 URL 数」?限流维度是按 IP 还是按 UA 算的?有没有人试过把这两个维度交叉成矩阵看?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
老站长评论2026/11/22 01:01:11
你那个429按UA拆开后,是看单UA的请求占比还是再叠一层URL去重?我猜叠加后数字会更难看,但想确认下你实际跑出来啥样。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。