把AI爬虫日志按官方/非官方拆开,我发现半夜来的不一定是正主
老周问一句。
上周把官网上个月的访问日志翻出来,本来只想看看AI爬虫来得勤不勤,结果越看越不对劲。同样是凌晨两点到四点那一段,UA里写着GPTBot的请求有1400多条,但真正能对上OpenAI官方IP段的不到六成。 剩下那五百多条,UA写得一模一样,IP段却对不上号。
我让技术的小伙子把日志按「UA + IP段」交叉拆了一次,拆完心里有点凉:
- 官方GPTBot,UA对、IP对,一共836条,抓的大多是产品页和参数页;
- UA写着GPTBot但IP不对的,521条,抓的却是联系我们页和询价表单;
- 还有一类UA干脆是空的,直接从境外机房段进来,量不大但每天都来。
这就好比开船,仪表盘上显示风向是东北风,你顺着调帆,结果真正推你船的水流在底下,方向压根不一样。日志里的「AI爬虫」这四个字,不能当成一个整体来看。
我的判断依据就三条,都是自己一条条数出来的:
第一,看IP段,别看UA。UA是自报家门,谁都能写。我让技术把公开的官方爬虫IP段拉了个表,一条条比对,比对完才发现自报和实名差得不少。
第二,看它抓什么页。官方爬虫偏内容页,抓得深、抓得慢;那些IP对不上的,反而盯着表单页和价格页,动作很快,几秒一个。这个「秒差」本身就有信息量。
第三,按批次ID对。同一批请求如果来源IP段集中在一两个C段,时间戳又咬得很紧,基本能判断是不是同一个来源在批量扒。
踩过的坑也说一句:我一开始图省事,只用UA过滤,结果把一份「AI爬虫周报」发给老板,数字漂亮得很,后来被技术一句「这里面一半是假的」给问住了。从那以后,我所有爬虫数据都要求带IP段和批次ID一起交,少一个都不签字。
所以我现在不太看「AI爬虫来了多少次」这个总数,我看的是官方爬虫占比这个指标。这个比例要是低于七成,说明你引来的流量里掺了不少水,拿它去算GEO效果,算出来的账是虚的。
最后抛个具体问题给各位:你们统计自家AI爬虫流量的时候,是按UA算的,还是按IP段核过的? 如果核过,官方占比大概是多少?我这边算下来是六成出头,想找几个同行对对数,看看是不是我这边配置有问题。
