/posts/ai-mwjtkb4j-190b
GEO优化

给AI爬虫单独开日志第七天,我发现它根本不点导航栏

创业小强 111 0 45

上周为了验证一个猜想,我把服务器日志按UA拆开,给几个主流AI爬虫单独建了索引。跑满七天,数据出来了,有个结论让我后背发凉。

先说场景: 我们官网是个典型的内容站结构,顶部导航栏挂了六个栏目,侧边栏有热门文章推荐。我之前的假设是——AI爬虫进来会像人一样,先看导航,再顺着链接一层层爬下去。

实测数据: 七天里AI爬虫总请求量是 11.3 万次,其中落在导航栏和侧边栏链接上的请求只有 4300 次,占比 3.8%。而正文里的内链,请求占比是 41%。剩下的绝大部分请求,直接怼在单篇文章的URL上,进来、抓完、走人。

判断依据: 我把日志按小时拆开,发现AI爬虫的抓取节奏跟搜索引擎爬虫完全不一样。搜索引擎爬虫有明显的“广度优先”特征,会扫导航、扫sitemap、扫分页。AI爬虫更像“深度优先”——它手里有一份已经锁定的目标URL清单,进来就直奔主题,抓完内容就走,几乎不做站内游走。

这意味着什么? 如果你的内容策略还是指望“首页导流→栏目页→文章页”这个路径被AI爬虫走通,大概率是白费功夫。AI爬虫根本不吃你这套导航体系,它只认被它锁定为信息源的那个具体URL。

我踩的坑: 之前我们花了两周优化导航栏结构和侧边栏推荐位,以为能提升AI对站点的整体抓取深度。结果从日志看,这两个动作对AI爬虫的抓取路径几乎没有影响,那两周基本是空跑。真正有效的动作是——把每篇文章的URL做成自洽的独立入口,保证单篇被抓取时信息完整、上下文自足。

一个还没想明白的问题: 我观察到AI爬虫对同一URL的重复抓取间隔并不固定,有的文章三天抓了五次,有的两周只抓一次。我怀疑跟页面被引用的频次有关,但目前样本不够,没法下结论。

抛个问题给社区: 你们有没有人扒过AI爬虫的重复抓取间隔?是靠什么信号触发它回来重抓同一页的?我这边日志里看不出明显规律,欢迎拿原始记录来对口径!

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。