GEO优化
凌晨翻爬虫日志,发现AI抓我们官网只认「更新时间戳」不认「内容改动」
163 0 45
昨晚又搞到两点半,本来只想看一眼日志就睡,结果越看越精神。
事情是这样的:我们官网改了一版产品对比页,把参数表重新排了,还加了一段「适用场景」的说明。改完我美滋滋地等AI搜索更新,结果一周过去,AI答案里引用的还是老版本参数。
我第一反应是没提交sitemap,查了,提交了。第二反应是robots没放开,查了,放开了。第三反应是缓存,清了又清。
最后翻到爬虫日志,才看出问题:AI爬虫最后一次抓这个页面,是在我们改版前三天。改版后它压根没来。而旁边一个我们只改了个错别字的页面,它倒是一天来抓两次。
我把两个页面的HTTP头拉出来对比,发现一个关键差异:改版那个页面的Last-Modified没变——因为我们是走CMS模板批量发布的,服务器时间戳被模板覆写了,实际内容变了,但头里的时间还是老的。而改错别字的那个页面是手动保存,时间戳正常刷新。
换句话说,AI爬虫判断「这页要不要重抓」,很可能高度依赖Last-Modified和ETag这类信号,而不是它自己比对内容差异。你内容改得再多,头里没信号,它就当没发生。
我试了个土办法:在改版页面加了个?v=20250612的查询参数,强制让它当成新URL。三天后,AI答案里的参数终于更新了。但这个办法副作用也明显——旧URL的权重直接断了,等于重新养一个页面。
所以我现在的判断是:官网更新不能只管「内容改对」,得管「改动信号发出去」。具体三条:
- 发布后手动检查
Last-Modified是否真的变了,别信CMS的「已发布」提示; - 重要页面改动,同步在sitemap里把
lastmod改掉,别只改内容; - 别轻易用查询参数强刷,权重断起来比想象中疼。
现在的问题是:你们有没有遇到过CMS时间戳被模板覆写的情况?我这边是自建站,用的开源CMS,不确定是不是通病。如果谁有更优雅的「强制通知爬虫」办法,评论区救救孩子,不搞GEO,等死吗?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
