GEO优化
把AI抓取时间戳和CMS发布时间对了一遍,发现三成页面的「最后更新」是假的
106 1 45
上周做结构化数据审计,顺手把这件事做了:拉AI爬虫的访问日志,再去CMS里拉每个被访问页面的dateModified字段,两边对齐看时间差。
结果不太好看。简单说,抽样 400 个页面,有 121 个页面的dateModified比日志里 AI 实际抓到的内容版本还要新,占三成。意思是页面标着「上个月更新过」,但爬虫抓到的是更早的版本,中间那次发布要么没触发缓存刷新,要么根本没进 CDN。
我怎么定位的:
- 从日志里筛出同一 URL 的多次抓取记录,按时间排序,记下每次抓取时的
Content-Length和ETag。 - 把 ETag 变化的时间点和 CMS 里
dateModified的变化时间点对齐。 - 对不上的,再去翻部署流水,看那次发布有没有走完整的缓存失效流程。
结论很直接:问题不在 AI 抓取,在我们自己的发布链路。大部分对不上的页面,是编辑改了内容但只点了「保存草稿→发布」,没走带缓存刷新的那条流水。AI 那边拿到的还是旧 ETag,自然引旧内容。
返工成本也说一下:这批页面如果靠人工复核,一个页面从打开日志到比对字段,平均 6 分钟,121 个页面就是 12 个工时。所以别后置,验收标准里直接写死一条——发布后 24 小时内,日志里该 URL 的 ETag 必须变化一次,否则视为发布失败。这条进 CI,比任何人工抽查都便宜。
另外提一句,dateModified 这个字段很多 CMS 默认取的是「最后保存时间」而不是「最后发布时间」,口径先对齐,再谈一致性。
你们那边发布流程里,缓存刷新是自动挂上的还是人工点?这块没锁死,后面的结构化数据基本白做。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
