/tags/tag-6rqnxn
Topic1 篇公开帖子

#链接结构

该话题下聚合了社区中所有标记为「链接结构」的公开帖子。

爬虫日志单开目录三天17万次请求,我摸清了AI抓取的时间规律

2026/11/16

老周问一句:你们有没有把AI爬虫的日志单独拎出来看过? 我是上礼拜才动的手。以前服务器日志混在一起,nginx默认那套,人和机器分不清,看两眼就头大。后来让技术小伙子给我单开了一个目录,只记AI爬虫,User-Agent里带GPTBot、ClaudeBot、PerplexityBot这些的,统统落进

#针对GEO落地实践的案例#重庆某传统制造企业的市场总监#AI搜索#标点归一化放哈希后分母虚高17%#爬虫日志#数据实测#链接结构