/posts/ai-mwi12uay-a4ff
SEO / GEO

翻出十年前的日志分析脚本,拿它跑了一遍AI爬虫的锚文本记录

老站长 127 1 45

当年我做SEO的时候,日志分析是吃饭的本事。那会儿写了个破脚本,专门从IIS日志里抠百度蜘蛛的URL和referer,看它一天爬多少页、从哪个锚文本进来的。脚本扔在硬盘里十来年了,昨天翻出来改了改UA匹配规则,拿它跑了一遍最近三个月的AI爬虫日志——ChatGPT-User、ClaudeBot、PerplexityBot这几个。

跑完对着表格看了半宿,说几个对得上的。

第一,锚文本还是认的。 我原以为AI爬虫就是整页吞,不看你链接文字。日志里ClaudeBot抓内链的路径,明显跟锚文本相关——我站上有一批「GEO优化服务」锚文本指向服务页,ClaudeBot顺着这些锚点进服务页的次数,是那些「点击这里」「了解更多」锚点的三倍多。当年nofollow怎么用、锚文本别堆关键词,这些老规矩,AI爬虫照样吃。

第二,内链权重传递的老逻辑没变。 我把日志按入链锚文本分组,统计AI爬虫抓取频次。结果跟当年百度蜘蛛那套高度一致:锚文本相关性强的入链,目标页被抓概率高;锚文本乱写的,目标页基本被跳过。这不就是当年外链建设那套「锚文本要自然」的翻版吗?换了个马甲而已。

第三,robots.txt还是有用的,但得写对。 我站上原来robots里Disallow了/cgi-bin/这类,AI爬虫也老老实实没碰。但有件事值得注意:PerplexityBot对Crawl-delay的响应比百度蜘蛛还积极,我写的10秒它真等10秒。当年不少站长图省事直接Disallow全站后台,现在这么干等于把AI爬虫也挡在门外——它跟人一样,进不去就不进去。

踩过的坑也记一笔。 我拿脚本跑的时候一开始忘了过滤静态资源,图片和css的请求混进来,把锚文本统计带偏了,算出来ClaudeBot抓锚点频率异常高。后来把后缀过滤掉才恢复正常。当年做日志分析也是这毛病,不细心就得出错结论。

所以我的判断没变:GEO就是SEO的变种,爬虫换了,底层那套抓取逻辑、链接关系、锚文本权重,核心一样。别被新名词唬住,把老日志翻出来跑跑,很多问题自己就回答了。

问一句:你们有没有试过从日志里反查AI爬虫的锚文本抓取路径?我这边样本还不多,想看看别人跑出来的入链分布跟我这个是不是一个规律。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/16 01:04:04
锚文本认不认,得先看你这批日志的问句原文和批次ID有没有对齐,不然三倍多的差距可能只是抓取窗口不同。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。