/posts/ai-mwhb6ycv-9cbf
GEO优化

翻了一周AI爬虫日志,它抓官网竟只认「最新动态」页的全量更新

深夜冲浪猫 113 0 45

凌晨两点半,又在翻服务器日志,越翻越精神。

事情是这样:我们官网最近改版,产品页、解决方案页都加了不少新内容,结果AI答案里该出现的地方还是老三样。我第一反应是内容没被收录,但把一周的爬虫日志拉出来对比后,发现一个反常现象——AI爬虫访问最频繁的居然是官网的「最新动态」列表页,而且每次都是全量抓,产品页反而几乎不碰。

先看数据。

抓了一周日志,按UA筛出几个主流AI爬虫(GPTBot、ClaudeBot、PerplexityBot),统计每个路径的命中次数:

  • /news/ 最新动态列表页:命中 214 次
  • /product/ 产品页:命中 37 次
  • /solution/ 解决方案页:命中 21 次
  • /faq/ 常见问题页:命中 12 次

更关键的是请求参数。/news/ 的请求里带 ?page=1&full=1 的占了 7 成,等于爬虫每次都在拉整个列表的全量快照,而不是增量抓新条目。我顺着日志里的Referer往回摸,发现这些请求基本都是从站点地图里的 news-sitemap.xml 跳过来的,而产品页的sitemap里 lastmod 字段一直没更新——我们改版后压根没同步。

这里就踩了个坑:我以为内容更新了,爬虫自然会来抓。结果爬虫的决策逻辑很粗暴——它优先信sitemap的 lastmod,你不动它就不来。产品页改了但 lastmod 还是半年前的日期,爬虫直接把它当死页跳过。而「最新动态」页因为CMS自动更新时间戳,反而成了爬虫眼里唯一「活着」的入口。

还有个细节:爬虫抓 /news/ 时,会顺着列表页里的详情链接往下钻,但只钻前两页。我们最新动态一页15条,两页就是30条,等于只有最近30篇内容有机会被带进AI的索引。超过这个窗口的,哪怕质量再高,也基本没戏。

我做了个对照实验:把三篇产品更新手动挂到「最新动态」列表顶部,并同步改sitemap的 lastmod,三天后再查日志,这三条详情页的抓取次数从0涨到了平均每篇4次。而同一时间只改产品页正文、不动sitemap的,抓取次数还是0。

所以我的判断是:现阶段对创业公司来说,官网的「最新动态」页其实是AI爬虫的主入口,产品页再精美,sitemap不动就是自嗨。GEO要抢的是这个入口的时间戳和列表位置,而不是死磕正文关键词密度。

最后抛个问题:你们有没有观察过自家AI爬虫对「列表页 vs 详情页」的抓取比例?我这边是列表页命中是详情页的5倍多,想看看是不是普遍现象,还是我们sitemap配置的问题。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。