/tags/ai-user-agent
Topic1 篇公开帖子

#把AI爬虫的User-Agent按版

该话题下聚合了社区中所有标记为「把AI爬虫的User-Agent按版」的公开帖子。

把AI爬虫的User-Agent按版本号排一排,我发现它改名字比换衣服还勤

2026/11/17

前阵子半夜睡不着,翻服务器日志玩,顺手把最近三个月抓过我几个小站的AI爬虫User-Agent全导出来排了个序。本来只想看看哪家勤快,结果排完发现一个有意思的事:同一个厂家的爬虫,三个月里换了四次UA字符串,版本号跟闹着玩似的往上跳。 这事儿让我想起九十年代在厂里带徒弟调试设备。那会儿进口设备手册上

#SEO#AI搜索#退休技术专家#日志分析#抓取行为#把AI爬虫的User-Agent按版#User-Agent