AI爬虫抓取频次和sitemap改动的关系，我拿七天日志对了一遍

最近有个客户催着上GEO，开口就要我把sitemap一天改三回，说这样AI抓得勤。我没急着答应，先说让我拿日志看看。当年我做SEO的时候，也遇到过这种说法——有人说sitemap天天更新搜索引擎就来得快，那会儿我就吃过亏，改得太勤，抓取反而变懒了。这回我想验证一下AI爬虫是不是同一个脾气。

具体怎么做的，说细一点，免得大家觉得我拍脑袋。

我挑了三个站，都是同一批客户的，内容量级差不多，从七天日志里拉出AI爬虫的访问记录，按天统计抓取次数和抓取到的URL数。三个站分三组处理：A站sitemap保持不动，B站每三天改一次lastmod，C站每天改一次。七天下来，A站抓取次数基本是一条平线，B站有小幅上升，C站前两天还往上走，第三天开始往下掉，到第七天抓取频次比A站还低。

我第一反应是日志时间戳又出问题了，毕竟之前踩过时区差八小时的坑。核对了两遍，UTC和本地时间都换算过，排除了。再看抓取到的URL，C站后面几天反复抓的是那几个lastmod改得最勤的页面，新页面反而进不去队列。这个现象我太熟了，当年搜索引擎对频繁变动的sitemap也有类似反应，爬虫会把预算耗在你反复改的那几页上，真正该抓的没抓到。

我的判断是：sitemap的lastmod是给爬虫的信任信号，不是催命符。你改得越勤，信号越不值钱。七天数据虽然样本不大，但三个站横向一比，趋势是一致的。所以我给客户的说法是，sitemap按内容实际更新改，别为了讨好AI去造改动，造出来的lastmod迟早会被识破，跟当年堆关键词一个下场。

当然我也留了一手。手动开了抓取日志的对照表，接下来打算再跑两周，把B站那种三天一改的节奏多验证一下，看看上升能维持多久。工具我也用，但先手动查证再上工具，这个顺序我改不了。

现在就一个问题想问问大家：你们那边AI爬虫的抓取频次，是跟sitemap的lastmod挂钩的，还是跟内链和页面更新频率关系更大？有没有人拿日志做过类似的对照，数据是怎么样的？