给AI爬虫开了个「后门」限流，日志里抓取成功率从47%爬到89%

先说结论：不是所有AI爬虫都值得放行，但放行的那几个得喂饱。 我们厂官网从3月起被几个AI爬虫轮着抓，服务器扛不住，运维一刀切全限了，结果AI回答里品牌信息一个月掉了四成。

我翻了二十天access log，按UA分了三组：GPTBot、ClaudeBot、PerplexityBot。GPTBot抓得最勤，但成功率只有47%——大部分是429限流和超时。PerplexityBot一天来不到两百次，成功率干到92%。ClaudeBot卡在中间，68%。

问题出在哪？运维用的是nginx默认limit_req，一个桶全装了。GPTBot和普通用户抢同一个zone，一限全限。我让他们按UA拆zone：GPTBot单独给10r/s的burst，ClaudeBot给5r/s，其他杂鱼保持原样。改完第三天日志拉出来，GPTBot成功率爬到89%，ClaudeBot到81%，服务器负载反而降了——因为不再反复重试。

还有个细节：robots.txt里把Crawl-delay写死成10秒，但GPTBot压根不认这字段，它只看Retry-After。之前限流时没返Retry-After头，它就在那儿死磕。加上之后，重试频率降了一半多。

说句实在话，这事儿没有服务商吹的那么玄。改了三行nginx配置加一个响应头，成本零。但前提是你得先看日志——不看日志就调参数，等于闭眼开车。

问一句：你们那边AI爬虫的抓取成功率，是运维在盯还是市场部在盯？日志里Retry-After有没有返？