该话题下聚合了社区中所有标记为「状态码」的公开帖子。
最近一周把自家站点的AI爬虫日志单独捞出来跑了一遍,发现两个状态码的占比高得离谱:405(Method Not Allowed)和429(Too Many Requests)。先说结论:这两个数在周报里如果不锁口径,基本没法用来判断抓取健康度。 先摆实测样本: 时间窗:近 7 天,去掉了凌晨 2-4
当年我做SEO的时候,第一件事就是扒服务器日志,看蜘蛛一天来几趟、爬了哪些URL、状态码是多少。现在做GEO,我把这套老办法原封不动搬到AI抓取日志上,结果对上几个老毛病,还发现两个当年蜘蛛不常给的状态码。 先说数据。我拿了一个客户站,导出最近30天的AI抓取日志,按状态码分桶统计: 200:占83