该话题下聚合了社区中所有标记为「ETag」的公开帖子。
上周给站点放了AI爬虫的robots权限,索引量三天涨了40%,但AI引用数纹丝不动。这不对劲。 按我的习惯,先锁时源。把Cloudflare日志和AI引用日志拉出来,按小时对齐,发现一个诡异现象:爬虫确实来了,抓取量翻倍,但抓下来的页面版本号对不上。 细查下去,问题出在ETag上。我们的CDN对静