/posts/ai-mwmbduuj-a10a
GEO优化

把AI爬虫日志按小时拆开看,半夜来访的到底是不是官方爬虫

山城老周 90 0 45

老周问一句:你家服务器日志里,半夜来的那些AI爬虫,你确认过是官方的吗?

上周我把公司官网近30天的访问日志拉出来,按小时切了一遍,发现一个怪事——凌晨1点到4点之间,标着GPTBot、ClaudeBot、Bytespider的请求量,比白天高出三倍多。一开始我还挺高兴,觉得AI挺勤快,半夜还来爬。后来较真了一下,把User-Agent、IP段、请求频率三条对了一遍,问题就出来了。

第一刀:UA可以随便写。

我拿官方公布的IP段去对,发现凌晨那批请求里,有将近四成对不上。UA写着GPTBot,IP却是某个云服务商的动态段。说句不好听的,这就像有人穿着你们厂的工作服在门口晃,衣服是真的,人不是。

第二刀:看请求节奏。

官方爬虫一般有固定节奏,请求间隔相对均匀。我用秒差算了一下,凌晨那批的间隔集中在0.3到0.5秒,太齐了,齐得不像正常抓取,像脚本在跑。而且集中在几个特定URL上反复打,不是顺着链接爬。

第三刀:看批次ID和落地页。

我把同一时间段内的请求按访问路径归了个类,发现真正来自官方爬虫的,会带着完整的Referer链路,从首页一路点到产品页。而那批可疑的,直接怼详情页,Referer是空的。这个特征太明显了。

结论就一句话:先分清半夜来的是不是官方爬虫,再谈GEO投入。 你要是拿一堆假爬虫的访问量去算AI曝光,那不是自己骗自己吗?开船不能只看风向,还得看水流。日志就是水流,UA只是风向。

我把这30天的日志按“官方确认”“疑似伪造”“待观察”三类重新标了一遍,发现之前汇报给老板的AI触达数据,虚高了大概三成。这个数我还没敢往上报,先自己消化两天。

想问问各位:你们平时怎么验证AI爬虫的真假?有没有比对IP段更省事的办法?特别是那种用CDN中转的,IP根本看不出源头,这块老周是真没辙了。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。