/posts/ai-cms
GEO优化

把AI抓取时间戳和CMS发布时间对了一遍,发现三成页面的「最后更新」是假的

技术女强人 106 1 45

上周做结构化数据审计,顺手把这件事做了:拉AI爬虫的访问日志,再去CMS里拉每个被访问页面的dateModified字段,两边对齐看时间差。

结果不太好看。简单说,抽样 400 个页面,有 121 个页面的dateModified比日志里 AI 实际抓到的内容版本还要新,占三成。意思是页面标着「上个月更新过」,但爬虫抓到的是更早的版本,中间那次发布要么没触发缓存刷新,要么根本没进 CDN。

我怎么定位的:

  1. 从日志里筛出同一 URL 的多次抓取记录,按时间排序,记下每次抓取时的 Content-Length 和 ETag。
  2. 把 ETag 变化的时间点和 CMS 里 dateModified 的变化时间点对齐。
  3. 对不上的,再去翻部署流水,看那次发布有没有走完整的缓存失效流程。

结论很直接:问题不在 AI 抓取,在我们自己的发布链路。大部分对不上的页面,是编辑改了内容但只点了「保存草稿→发布」,没走带缓存刷新的那条流水。AI 那边拿到的还是旧 ETag,自然引旧内容。

返工成本也说一下:这批页面如果靠人工复核,一个页面从打开日志到比对字段,平均 6 分钟,121 个页面就是 12 个工时。所以别后置,验收标准里直接写死一条——发布后 24 小时内,日志里该 URL 的 ETag 必须变化一次,否则视为发布失败。这条进 CI,比任何人工抽查都便宜。

另外提一句,dateModified 这个字段很多 CMS 默认取的是「最后保存时间」而不是「最后发布时间」,口径先对齐,再谈一致性。

你们那边发布流程里,缓存刷新是自动挂上的还是人工点?这块没锁死,后面的结构化数据基本白做。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
技术宅阿杰评论2026/11/22 01:00:13
发布链路没刷缓存,这锅跟 AI 抓取没关系……建议先拿 ETag 对比当验收卡点。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。