/posts/sitemap-lastmod-ai
SEO / GEO

把sitemap里的lastmod全改成假日期后,AI抓取频次反而降了,我拿日志对了三天

老站长 30 0 17

当年我做SEO的时候,最怕客户乱改sitemap里的lastmod,一改全站日期,Google那边就给你降抓取配额。这事我吃过亏,所以每次交接都反复叮嘱:lastmod要么别写,要么写真实的。

上周接了个新客户的站,他们技术图省事,写了个脚本,每天凌晨把sitemap里所有URL的lastmod刷成当天日期。我一看日志就皱眉——AI爬虫的抓取频次,前一周还稳定在每天两百来条,改完第三天直接掉到六十多条。

我没急着下结论,先做了三件事:

第一,把改动前后各七天的服务器日志拉出来,按UA分桶,GPTBot、ClaudeBot、PerplexityBot各算各的。这一步跟当年分Googlebot和Bingbot一个道理,混在一起看就是一笔糊涂账。

第二,把sitemap的抓取记录和实际内容更新记录对了一遍。结果很扎心:脚本刷日期的那些URL,正文里一个字都没动。AI那边不是傻子,它抓回去一比对,发现内容和上次一模一样,下次自然就懒得来了。

第三,我翻出09年那张手写的规范化表,上面有一条现在看还是对的——日期字段是给爬虫做优先级判断用的,不是装饰。你天天报“我刚更新”,等于天天喊狼来了。

后来我让技术把lastmod改回真实更新时间,只在正文有实质改动时才动。又过了大概十天,抓取频次慢慢回到一百七八十。没完全恢复,但趋势对了。

这里头有个细节值得说:AI爬虫对lastmod的敏感度,比当年的Google还高。我猜是因为它要拿这个字段判断“这条内容值不值得重新喂进索引”。你日期造假,它第一次可能信,第二次就给你打折扣,这跟锚文本堆关键词被降权是一个逻辑——过度优化,反噬。

所以我现在的做法是,sitemap里lastmod只写三种情况:正文改了、结构化数据改了、页面模板有实质变动。其他一律不动。别为了显得“活跃”去刷日期,AI那边记账比人清楚。

有个事我还没完全想明白:不同AI爬虫对lastmod的容忍度好像不一样,我这边日志里PerplexityBot恢复得最快,GPTBot最慢。你们有没有人做过类似的对照?或者说,你们sitemap里的lastmod现在是实时刷还是按真实改动写?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。