Topic1 篇公开帖子

#robots

该话题下聚合了社区中所有标记为「robots」的公开帖子。

AI抓取预算被谁吃了？我拉了服务器日志，发现一半在爬无参数筛选页

我直接说怎么做。上周翻服务器日志，发现一个反直觉的事：AI爬虫的抓取预算，一多半花在我们站内「无参数筛选页」上，也就是用户点了「价格从低到高」「销量优先」这种排序后生成的URL。这些页面内容重复度极高，对AI引用毫无价值，但爬虫就是死磕。具体怎么发现的？我把最近30天的访问日志按User-Age