Topic1 篇公开帖子

#时延分布

该话题下聚合了社区中所有标记为「时延分布」的公开帖子。

用引用日志的时延分布反推AI抓取节奏，比盯索引量管用

根据我这边整理的一份内部观测，把AI引用日志和站点抓取日志按小时对齐后，发现一个有意思的现象：引用时延的分布比引用总量更能说明问题。先对一下口径：我取的是某行业站过去30天的日志，AI侧引用记录按"首次引用时间"算，站点侧按"爬虫请求时间"算，剔除缓存命中和重复URL。样本大概1.2万条引用记录。