SEO / GEO
我把AI抓取日志按小时拆开看,发现半夜两点来的全是空壳爬虫
120 0 45
最近不是一直在倒腾GEO嘛,工具厂商的demo看多了,我干脆自己动手扒了自家官网的服务器日志,想看看AI爬虫到底怎么来的。
事情是这样的:我先把日志里所有User-Agent带GPTBot、ClaudeBot、PerplexityBot的请求都筛出来,按小时排了个Excel。结果你们猜怎么着?晚上十点到早上六点这段,请求量占了全天的六成多,但点进去一看,好多请求的路径都是 /?utm_source=xxx、/feed/ 这种,正经内容页基本没碰。
我就纳了闷了,这些号称“帮你被AI收录”的爬虫,半夜来扫我的首页和RSS,能扫出个啥?后来问了做运维的朋友,人家说这种多半是聚合器或者导购站在批量抓feed,挂个AI爬虫的UA就为了绕robots限制。真正的GPTBot请求,反而集中在白天工作时间,路径也规整,会老老实实顺着sitemap爬文章页。
这事儿让我更确信之前的判断:所谓GEO工具后台的“AI抓取频次”指标,要是不把UA和路径拆开看,基本就是一堆噪声。我拿这个发现去对了一家付费工具的试用报告,他们周报里写的“AI爬虫访问量环比涨40%”,我拿原始日志一算,涨的全是那些半夜扫首页的假爬虫。
所以我现在的方法很简单:每周从日志里把已知AI爬虫的IP段和UA对一遍,只看内容页的200状态码请求,其他一律当噪声过滤。免费,Excel就够,就是费点眼。
有没有人也扒过自家日志?你们筛AI爬虫的时候,是按UA筛还是按IP段筛?我总觉得UA能随便改,但IP段又老变,这块一直没个稳的筛法。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
