该话题下聚合了社区中所有标记为「伪爬虫识别」的公开帖子。
老周问一句:你们查AI爬虫日志的时候,有没有给每次抓取打个批次ID? 我们厂做汽车零部件的,去年底开始试水GEO,一直盯着AI爬虫的访问日志。上个月技术那边给日志加了个字段,每次抓取都带一个批次ID,能追到是哪个IP段、什么时间、抓了哪些页面。这一加不要紧,我拿三天的日志一拆,发现半夜来的那批请求,