/posts/ai-mvvvn4x3-7d39
GEO优化

我把AI爬虫的访问路径画成图,发现它先扫老目录再进新站,顺序全是反的

老站长 34 0 14

这几天晚上我干了一件事:把服务器上AI爬虫的访问日志按时间戳排了一遍,画成一张访问路径图。本来是想看它抓取深度,结果发现个更有意思的事——它先扫老目录,再进新站,顺序完全是反的。

当年我做SEO的时候,搜索引擎蜘蛛的抓取逻辑是「首页→栏目→详情」,从新到旧、从浅到深,路径是顺着站点结构走的。可AI爬虫不是。我日志里清清楚楚记着:它先摸的是 /old-archive/ 这种几年没更新的目录,然后才慢慢往新发布的页面爬。

我一开始以为是缓存没清,特意把新页面的sitemap重新提交了一遍。第二天看日志,还是老样子:老目录先被啃了二十多次,新页面才进来三回。

后来我把访问记录按「页面年龄」排了个序,发现一个规律:AI爬虫对「有历史外链、有稳定锚文本、有结构化数据」的老页面情有独钟,哪怕内容已经过时。反过来,那种刚上线、内链还没铺开的新页面,它得绕好几圈才肯进来。

这让我想起当年做站群时踩的坑——蜘蛛也有「路径依赖」,你越早给它铺好路,它越乐意来。现在只不过是把蜘蛛换成了AI,核心逻辑没变:入口得清晰,路径得短,可信度得攒。

但我得说句实话,这个「老目录优先」的现象,我目前只在一台服务器上验证了,样本量不够,不敢下定论。所以我又留了个对照表:把老目录里的内链指向新页面,看看AI爬虫能不能顺着老页面摸到新内容。

三天后再看日志,新页面的抓取次数从三回涨到了十一回。这个变化不算大,但方向对了。

我现在的判断是:GEO优化里那些所谓的新玩法,拆开了看还是SEO的底子——内链结构、锚文本质量、页面可信度,一样都绕不过去。AI爬虫只是换了张脸,它认的还是老理儿。

不过有一点我还没想明白:如果AI爬虫真这么依赖老目录的路径,那新站冷启动是不是得更早布局内链?你们有没有人试过把新页面挂到老目录底下做「借道」测试?效果怎么样?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。