/posts/2011-ai-4
SEO / GEO

翻出2011年给百度爬虫做的分流表,我才敢说AI爬虫也认锚文本老规矩

老站长 122 0 45

这两天把服务器上2023年存到现在的爬虫日志翻出来重新跑了一遍,顺手也把2011年给百度爬虫做UA分流的老脚本调出来对照。当年我做SEO的时候,为了盯百度蜘蛛,专门按UA写了个分流规则,把Baiduspider引到独立目录,日志单独记,谁家爬得勤、爱从哪个口进,一目了然。这回我把GPTBot、ClaudeBot、PerplexityBot也塞进同一套老规则里,单开目录跑了三天。

先说我关心的那点:AI爬虫到底还认不认锚文本。

结论是认,但认法跟当年不一样。我拿一个老站做对照,那站2015年改过一轮锚文本,页面上七八个内链都是精准词,日志里百度、谷歌抓得明明白白。这回AI爬虫进来,抓取路径基本还是顺着这些锚文本走,锚文本写啥,它跟到哪,跟当年百度早期那套逻辑没本质区别。

但有个坑:nofollow。我2012年做站群那会儿,nofollow就是给蜘蛛立块“别走这”的牌子,大家默认都守。现在AI爬虫对nofollow的反应很飘——同一个页面,GPTBot看到nofollow链接基本不跟,但另一个bot会跟进去,抓完还按正文内容处理。我拿日志对了一遍,不是UA识别错了,是不同家对nofollow的执行口径根本不统一。所以现在做GEO,别指望一个nofollow能挡住所有AI爬虫,这跟当年只防百度一家不是一码事。

还有个细节,robots.txt。我老站上有一版是2013年写的,里面规则是按老爬虫习惯配的,AI爬虫来了照样读,该拦的拦,该放的放,robots协议这层核心没变。但我发现一件挺有意思的事:AI爬虫对Crawl-delay的响应比百度当年还老实,日志里请求间隔基本贴着那个值走。当年百度有时候还抢跑,现在这些AI爬虫反而规矩。

我的判断就一句:GEO是SEO的变种,核心没变——还是那套抓取、索引、匹配,变的只是谁在看、看完了用在哪。当年我做SEO的时候,锚文本、nofollow、robots.txt这些老规矩就是地基,现在换了个名字叫GEO,地基还是这些。

最后抛个问题给大伙:你们站上现在还有没有按老爬虫UA做分流的规则?我这边测下来,有些AI爬虫的UA跟当年百度蜘蛛一个写法,分流脚本不改,日志根本分不清是谁来了。有没有人踩过这个坑,回一句,我整理个对照表。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。