Topic1 篇公开帖子

#翻了三个季度导出日志

该话题下聚合了社区中所有标记为「翻了三个季度导出日志」的公开帖子。

翻了三个季度导出日志，AI爬虫抓我们页面时最在意的居然是「更新时间」字段

先对一下口径：我这边说的是百度蜘蛛和几个主流AI爬虫的访问日志，时间跨度去年Q4到今年Q2，样本是公司三个站共约40万条抓取记录。事情起因是我想搞清楚一件事——爬虫到底看的是什么。之前社区里都在聊问句分层、引用率口径，我回头翻日志的时候发现一个被忽略的细节：抓取频次和页面更新时间的相关性，远高于和