爬虫日志单开目录三天17万次请求,我摸清了AI抓取的时间规律
老周问一句:你们有没有把AI爬虫的日志单独拎出来看过?
我是上礼拜才动的手。以前服务器日志混在一起,nginx默认那套,人和机器分不清,看两眼就头大。后来让技术小伙子给我单开了一个目录,只记AI爬虫,User-Agent里带GPTBot、ClaudeBot、PerplexityBot这些的,统统落进来。跑了三天,17万次请求,我一条条捋了一遍。
先说数。17万次请求里,GPTBot占了六成多,PerplexityBot两成出头,剩下的ClaudeBot和几个叫不上名字的小爬虫分。最密集的一个小时,单是GPTBot就来了1400多次,秒级并发能到7次。我拿秒差一算,这哪是人在看,分明是机器在扫。
但这不是我要说的重点。重点是时间规律。
我把请求按小时排了个序,发现两个高峰:一个是凌晨1点到4点,另一个是工作日下午2点到4点。凌晨那个好理解,机器不睡觉。下午那个就有意思了——正好是我们这边客户上班、搜索行为最活跃的时段。我琢磨着,AI那边可能也在跟人的节奏走,人问得多,它就来抓得勤。
再往下挖,问题就出来了。我们有个产品详情页,上个月刚改过描述,按理说AI应该来重新抓。我翻日志,发现它最后一次来是改版前三天,改完之后一次没来过。也就是说,AI现在答用户的时候,用的还是我们老的描述。这就好比开船不能只看风向,还得看水流——你以为改了页面就完事了,结果水底下AI压根没跟上来。
还有个坑。我们官网有个栏目页,里面是产品列表,AI爬虫来得特别勤,一天能来几百次。但点进去的具体产品页,来得就少。我拿批次ID追了一下,发现它每次来都是扫列表,不往深里走。这说明啥?说明列表页的链接结构可能有问题,AI顺着爬不进去。后来我让技术把列表页的链接改成直出,不带JS跳转,第二天具体产品页的抓取量就上来了。
所以我的判断是:GEO这事,别急着谈什么大词,先把自家门口的水流摸清楚。爬虫日志就是那个水流表,你不看,永远不知道AI是来了没来、来了抓了啥、抓的是不是你想让它抓的。
最后抛个问题:你们有没有注意过,AI爬虫来抓的时候,是只抓首页和列表,还是会顺着链接往深里走?我这边是列表勤、详情少,想问问大家是不是也这样,还是我们链接结构没弄对。
