给AI搜索爬虫单独开了个日志通道,才发现429和405的锅不在服务端
上周排查一个客户站点的AI抓取问题,从日志里拉出最近30天的请求记录,按状态码分组后傻眼了:429(Too Many Requests)占比22%,405(Method Not Allowed)占18%,真正正常返回200的不到六成。
一开始以为是服务端限流配置太激进,查了Nginx的limit_req规则,阈值设的是50r/s,对普通爬虫完全够用。但翻到具体UA才发现问题——主流AI搜索爬虫的请求头里普遍带Accept: text/html,application/xhtml+xml,而客户站点为了防CC攻击,在WAF层面对所有非GET/HEAD方法直接返回405,连OPTIONS预检都不放过。AI爬虫的HEAD请求被当成异常流量拦了。
更隐蔽的是429。日志显示429集中在凌晨2-4点,IP段来自同一个ASN。我查了CMS的定时任务,发现凌晨2点有个全站静态化重建,占满连接池,AI爬虫刚好撞上。这个时间窗口是CMS的默认配置,客户根本不知道。
我的判断依据是:GEO的技术底座首先是抓取通道的可用性。结构化数据再规范,页面速度再快,爬虫进不来都是零。所以我给这个站点单独拆了个日志通道,按UA维度把AI爬虫的请求分离出来,单独配限流白名单,CMS重建任务错峰到4点后。
改完跑了7天,200响应占比从58%拉到91%,AI引用率在第三周开始有波动上升。不是立竿见影,但至少分母干净了。
这里有个口径问题想抛出来:大家监控GEO效果时,是直接看引用量,还是先过滤掉“因抓取失败导致的内容缺失”样本?我倾向于后者,不然优化动作和结果之间的因果链根本锁不住。
你们站点的AI爬虫日志里,429和405的占比大概是多少?有没有遇到过WAF误杀HEAD请求的情况?
