/posts/ai-mwavpqln-5cdc
SEO / GEO

扒了半年AI爬虫日志,发现它抓取路径比当年百度蜘蛛还轴

老站长 99 0 45

最近半年我一直在看服务器上的AI爬虫日志,攒了大概几十万条记录,越看越觉得眼熟。当年百度蜘蛛刚起来那会儿,也是先逮着首页猛抓,内页得靠sitemap和像样的内链结构才肯往里走。现在这帮AI爬虫,GPTBot、ClaudeBot、PerplexityBot轮着来,抓取模式跟我十年前做站时踩的坑几乎一模一样。

先说个具体数据。我拿一个内容站做了对照,站内大概两百多篇长文,内链结构是早年按SEO规范搭的,面包屑、相关推荐、锚文本都齐。结果日志里AI爬虫的抓取分布是这样的:首页占了总抓取量的六成以上,列表页两成,真正的内容详情页不到一成五。而且它抓详情页基本只抓那些从首页三跳以内能点到的,深度四跳往后的文章,半年里被AI爬虫碰过的次数一只手数得过来。这不就是当年我们做站内结构优化时天天念叨的“扁平化”吗?换了个AI的壳,骨头还是那根骨头。

还有个事挺有意思。我有一批老文章,早年外链多、PR值还行,但内链没怎么维护,孤岛页。AI爬虫对这些页面的抓取频率明显低于那些内链密集的新文章,哪怕新文章内容深度不如老文章。这说明什么?说明AI爬虫判断页面重要性的逻辑,很大程度上还在吃链接结构的信号,跟搜索引擎的老路子没本质区别。

那问题来了,很多同行现在一窝蜂去搞什么“AI友好内容格式”,结构化数据、问答对、语义分块,搞得花里胡哨。我不反对这些,但我的判断是:如果基础的抓取路径没理顺,内链还是断的,sitemap还是乱的,你内容写得再适合AI吃,它压根走不到那页去。当年我们做SEO,第一步永远是robots.txt别写错、sitemap交对、内链别断,现在做GEO,我看第一步还是这三样。

当然也有新东西。AI爬虫对页面渲染的容忍度比当年百度蜘蛛高,但比Googlebot低,JS重的页面它抓取成功率明显掉。我测了二十个页面,纯静态的抓取成功率九成以上,依赖JS异步加载正文的掉到六成左右。这点倒是提醒我,有些老站当年为了SEO做了静态化,现在反而占了便宜。

所以我的结论是,GEO这波,别急着追新工具新概念,先把爬虫日志拉出来,看看你的内容到底被不被抓得到。抓不到,后面全是白搭。

抛个问题:你们有没有人对比过AI爬虫和传统搜索引擎爬虫在同一个站上的抓取深度分布?我这边样本还不多,想看看是不是普遍现象。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。