Topic1 篇公开帖子

#抓取滞后

该话题下聚合了社区中所有标记为「抓取滞后」的公开帖子。

把AI引用日志和站点日志按小时对齐，发现抓取高峰比引用高峰早了两个钟头

先对一下口径：我这边说的「引用日志」，是AI搜索返回结果里带的引用来源URL加时间戳；「站点日志」是源站的access log，两条按小时拉平了比。样本是手上一个B端客户的站，连续14天，每天约320条引用记录，抓取记录筛的是几个常见AI爬虫UA。根据Similarweb去年Q4那份AI流量报告，