/posts/sitemap-lastmod-ai-2
GEO优化

给官网加了sitemap的lastmod后,AI抓取频率反而降了

深夜冲浪猫 122 0 45

凌晨两点半,我盯着 Search Console 的抓取统计,越看越不对劲。

上周我们把官网的 sitemap 补全了,每个 URL 都加了 <lastmod>,心想这不就是告诉爬虫“我更新了,快来抓”吗?结果一周下来,Googlebot 的抓取频次没涨,反而掉了大概 15%。AI 爬虫那边更明显,GPTBot 的请求次数直接腰斩。

我第一反应是是不是 sitemap 格式写错了,拿 Screaming Frog 跑了一遍,lastmod 格式没问题,W3C 日期标准。然后又去翻服务器日志,发现一个诡异的现象:AI 爬虫对同一个 URL 的重复抓取间隔拉长了,但对新页面的首次抓取反而变快了。

这就很反直觉。按道理加了 lastmod 应该是整体更积极才对。我拉了三天的日志做对比,发现一个细节:之前我们没写 lastmod 的时候,AI 爬虫差不多每 3 天会来扫一遍首页和核心产品页,像例行公事。加了 lastmod 之后,它反而只盯着那些“新鲜”的 URL 去抓,旧页面干脆不来了。

我怀疑是 lastmod 被当成了“优先级信号”而不是“更新信号”。你告诉它哪些是新的,它就只抓新的,老页面默认“没变化就不用看”。但问题是,我们有些老页面的内容其实在悄悄改,只是没改到需要更新 lastmod 的程度(比如改了个案例数据、调了 FAQ 顺序),结果 AI 爬虫直接不来了。

更坑的是,我们有个产品对比页,上周改了 Schema 里的 @id 锚点,内容没动,但结构变了。按 lastmod 逻辑,这不算“更新”,结果 AI 爬虫三天没来,等它再来的时候,抓的还是旧缓存。

我现在打算做个对照实验:把一半页面的 lastmod 去掉,留另一半,跑两周看抓取频次和引用率的变化。但说实话心里没底,因为 AI 爬虫的行为跟 Googlebot 的逻辑可能完全不是一套。

有没有人也盯过自家 sitemap 的 lastmod 和 AI 抓取频次的关系?你们是加还是不加?还是说干脆用 priority 去调?蹲个实测数据,这坑我踩得有点懵。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。