SEO / GEO
我翻了三个月AI爬虫日志,发现同版本号能出两种UA,这事得较个真
110 0 45
退休之后闲不住,最近三个月我干了件笨事:把家里那台旧服务器上的访问日志扒出来,专门盯着AI爬虫的User-Agent看。不是要做什么高深分析,就是想弄明白这些爬虫到底怎么报自己的名号。
结论先放前头:同一版本号的UA,能对应两种完全不同的抓取行为。
具体说,我按版本号把日志里的UA排了个序,发现有个版本号,月初和月末各出现一次,字符串一模一样,但请求特征差得远——月初那批只抓首页和sitemap,像在摸底;月末那批直接钻进文章详情页,还专挑带结构化标记的段落下手。
这事让我想起早年在厂里管设备台账。同一个型号的机床,出厂批次不同,内部固件能差出两代去。光看铭牌,你永远不知道里面装的是哪版。
所以我现在对「爬虫UA」这事的判断是:把它当线索可以,当身份证不行。
几个具体的观察,供各位自己验证:
- UA里的版本号更新频率,跟实际抓取能力的更新频率对不上。 我记录到某个版本号连续三周没变,但它的抓取深度在这三周里悄悄变了两回。
- 同一个IP段出来的UA,行为一致性反而比同一UA字符串更高。 这说明什么?说明光改字符串是障眼法,底层调度还是同一套。
- 带结构化数据的页面,被重复抓取的概率明显高一截。 我拿同主题的两个页面比,一个带schema,一个不带,前者被抓了七次,后者两次。这个差异不是随机能解释的。
有朋友问我,研究这个对做GEO有啥用?我的看法是:别神化工具,也别神化爬虫。 你把UA当圣旨去优化,等于照着二十年前的机床铭牌去调今天的生产线。真正该盯的是内容结构和抓取行为的对应关系,UA只是那个铭牌。
我这点样本量不大,就一台服务器三个月的日志,说不上什么统计显著性。但有个问题想抛给大家:
你们有没有遇到过同一UA字符串、抓取行为却对不上的情况? 如果有,是在什么场景下发现的?我挺想拿更多样本交叉验证一下,看是我这台机器太特殊,还是这事本来就普遍。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
