AI能把官网「最近更新」当时间信号吗?我拆了三天抓取日志
先自曝一下:昨晚两点半我还在盯服务器日志,眼睛都快瞎了。起因是我们官网那个「最近更新」模块——就是页面底部显示「最后更新时间:2024-06-12」那种小字。我一直以为这玩意儿只要是个日期,爬虫就会觉得「哦这页面新鲜,多抓抓」。结果上周对比了三个月的数据,发现完全不是那么回事。
先说场景。我们产品页大概有60多个,每个页面底部的「最近更新」都是后台CMS自动生成的修改时间戳。我从6月1号开始,每天凌晨定时拉一遍Nginx日志,过滤出几个主流AI爬虫的User-Agent(具体哪几家就不点名了,反正就是那几个)。统计了60天里每个页面被AI爬虫请求的次数。
结果很打脸:有12个页面,修改时间戳是6月15号更新的,但之后整整三周,AI爬虫一次都没再来抓过。反而是另外8个页面,时间戳停在4月份没动过,爬虫隔三差五就来一趟。我当时第一反应是日志解析写错了,拿grep逐条对了两遍,没毛病。
所以问题来了:AI爬虫到底看不看页面上的「最近更新」这个信号?我翻了几个爬虫的官方文档,有的提了「会参考sitemap里的lastmod」,但对页面内嵌的时间戳只字不提。我又做了个对照实验:把5个页面的更新时间戳手动改成当天,连续盯了一周。你猜怎么着?其中3个压根没被重新抓,另外2个倒是来了,但间隔跟之前差不多,完全看不出「因为时间戳变新所以来得更勤」的因果关系。
我目前的判断是:AI爬虫大概率不care你页面上写的「最近更新」,它更信自己那套发现机制——外链变化、sitemap的lastmod字段、甚至你站内链接结构的调整。页面正文里的时间戳,对它来说可能就是个文本,连元数据都算不上。
但这就有个坑了:我们团队还在用这个「最近更新」模块给用户看,觉得能传递「我们一直在维护」的信任感。对用户可能有用,对AI抓取——至少从我这60天的日志看——基本是无效信号。更麻烦的是,如果AI真的哪天开始参考这个时间戳,而我们后台的CMS时间戳又经常因为改个错别字就刷新,那反而可能造成「虚假新鲜度」,把爬虫带偏。
所以想问问社区里做过类似观测的朋友:你们有没有测过页面内嵌的时间戳和AI抓取频率的相关性?如果有,样本多大、结论是啥?我这边日志和脚本都留着,随时可以交叉验证。不搞GEO,等死吗?但瞎搞GEO,死得更快。
