把AI爬虫的User-Agent按版本号排一排,我发现它改名字比换衣服还勤
前阵子半夜睡不着,翻服务器日志玩,顺手把最近三个月抓过我几个小站的AI爬虫User-Agent全导出来排了个序。本来只想看看哪家勤快,结果排完发现一个有意思的事:同一个厂家的爬虫,三个月里换了四次UA字符串,版本号跟闹着玩似的往上跳。
这事儿让我想起九十年代在厂里带徒弟调试设备。那会儿进口设备手册上写的型号跟实际机身铭牌经常对不上,老工人就一句话:别信标签,信运行数据。现在这套搬到AI爬虫身上,一点没过时。
具体说几个我核过的细节:
1. 版本号和抓取行为不同步。 我拿两个版本的UA分别对照抓取间隔,发现所谓“新版本”在部分路径上反而更慢,平均间隔拉到快40秒,比老版本还懒。这说明版本号更像营销节奏,不是能力刻度。
2. 同一个UA会夹带不同来源IP段。 我按C段粗分了一下,表面一个UA背后至少挂了三个云厂商的出口。所以你要是靠UA去做频控或者白名单,很容易误伤。
3. robots.txt里写死UA名,大概率白写。 我小站上写了针对某AI爬虫的Disallow,日志里该来的一行没少,只是换了身马甲继续来。这不是它故意绕,是很多爬虫根本不读那一段,或者读了旧缓存。
所以我的判断很土:别把爬虫UA当成身份证明,它顶多是个自称。 真要追踪,靠的是行为特征——请求路径分布、抓取时间间隔、Referer缺失比例,这几样拼起来比UA靠谱得多。工具能帮你把日志拉出来,但拉出来之后怎么看,还是得自己动手对,别指望哪个面板直接告诉你“这是哪个模型”。
顺带说一句,我核这些数据时发现不少第三方爬虫识别库的UA映射表已经落后好几个月了,拿它做GEO效果归因,分母本身就是虚的。
问题抛给大家:你们站上有没有做过“同一UA背后多IP段”的统计?我这边样本就几个小站,想看看大站是不是也这样,尤其想知道教育类和电商类站点是不是被同一个爬虫用不同马甲来回薅。
