翻了三个季度导出日志，AI爬虫抓我们页面时最在意的居然是「更新时间」字段

先对一下口径：我这边说的是百度蜘蛛和几个主流AI爬虫的访问日志，时间跨度去年Q4到今年Q2，样本是公司三个站共约40万条抓取记录。

事情起因是我想搞清楚一件事——爬虫到底看的是什么。之前社区里都在聊问句分层、引用率口径，我回头翻日志的时候发现一个被忽略的细节：抓取频次和页面更新时间的相关性，远高于和页面字数、关键词密度的相关性。

拆开看几个数字。

第一，把页面按「最后修改时间距今」分桶，7天内更新的页面，AI爬虫月均抓取次数是中位数页面的3.2倍；30天以上没动的，抓取频次掉到0.4倍。而我把同样的页面按字数分桶，相关性只有0.11左右，基本可以忽略。

第二，更让我意外的是重抓间隔。日志里看到有的页面结构没变、只改了正文里一段话，爬虫第二天就回来了；而有的页面改版加了整块内容，两周都没动静。查下来区别在于有没有更新 dateModified 这个结构化字段。改了的站，重抓间隔中位数从9天缩到2天。

第三，说个踩坑细节。我们内容团队有个习惯，改错别字也会动页面，结果日志里出现大量「无实质更新」的抓取，浪费了不少配额。后来我让他们改错别字走发布系统批量处理，别动正文时间戳，爬虫访问量反而更集中在真正有更新的页面上。

不过我不敢下结论说这就是优化方向。原因有两个：一是样本里三个站的内容类型不一样，混杂因素没排除干净；二是抓取频次和最终被引用之间还隔着好几层，我手上只有「被抓取」的数据，没有「被引用」的对照。根据我们内部那份《AI搜索可见性观测报告V1.2》的说法，抓取率到引用率之间有个明显的漏斗衰减，具体系数还没测出来。

所以我的判断只能到这儿：dateModified 这类结构化信号值得单独做一轮对照测试，但现在说它影响引用排序还早。 我准备下个月拿两个同质站点做A/B，一个持续更新字段、一个不动，看引用率有没有显著差异。

想问下各位，你们站点的日志里能不能看到 last-modified 请求头被遵守的比例？我这边只有六成左右，不确定是不是我这边取数口径的问题，还是普遍现象。