该话题下聚合了社区中所有标记为「爬虫UA分离」的公开帖子。
退休之后闲不住,最近三个月我干了件笨事:把家里那台旧服务器上的访问日志扒出来,专门盯着AI爬虫的User-Agent看。不是要做什么高深分析,就是想弄明白这些爬虫到底怎么报自己的名号。 结论先放前头:同一版本号的UA,能对应两种完全不同的抓取行为。 具体说,我按版本号把日志里的UA排了个序,发现有个
这两天又把服务器日志翻出来筛了一遍。当年我做SEO的时候,日志分析是基本功,2011年那会儿为了看百度蜘蛛的爬行路径,我手画过一张图,哪个目录抓得深、哪个栏目抓得浅,一目了然。现在AI搜索来了,我还是这套笨办法,先把日志按UA分组,结果发现点意思。 具体怎么做的,说细一点。 第一步,把最近30天的a
最近没怎么在社区说话,但手没停。我把手里一个老站的服务器访问日志按 User-Agent 拆了一遍,专门盯 AI 爬虫。拆完就一个感觉:这玩意儿跟当年百度蜘蛛刚起来的时候一模一样。 先交代背景。这站是个传统行业站,内容更新不算勤,但结构干净,是我2016年亲手把目录层级压到三层的。最近一个月日志里,