把AI抓取日志按UA分完组,百度蜘蛛和GPTBot抓的页面居然差这么多
这两天又把服务器日志翻出来筛了一遍。当年我做SEO的时候,日志分析是基本功,2011年那会儿为了看百度蜘蛛的爬行路径,我手画过一张图,哪个目录抓得深、哪个栏目抓得浅,一目了然。现在AI搜索来了,我还是这套笨办法,先把日志按UA分组,结果发现点意思。
具体怎么做的,说细一点。
第一步,把最近30天的access log拉出来,按UA关键字分四组:百度蜘蛛、Googlebot、GPTBot、ClaudeBot。这一步别嫌土,很多工具一上来给你个汇总报表,看着漂亮,但分组粒度不够,AI爬虫经常跟通用爬虫混在一起,看不出问题。
第二步,每组单独算三个数:抓取总次数、去重后URL数、状态码分布。重点看去重后的URL数,抓取次数多不代表覆盖广,有的爬虫反复抓首页和几个热门页,实际覆盖的页面很少。
第三步,把四组的结果做成一张对照表,按栏目目录横向排开。这一步是关键,光看总量没用,得看每个栏目在四组里的分布差异。
结果出来,差异比我想的大。
百度蜘蛛的抓取路径,跟我2011年画的那张老图走向基本一致,深目录抓得少,列表页抓得多,翻页参数抓得勤。GPTBot这边,抓取总量少很多,但去重URL占比高,说明它更倾向于广撒网、每个页面抓一次就走,不太反复抓。状态码分布上,GPTBot那组的404占比明显偏高,我筛了一下,大部分是带参数的旧链接和已经下线的活动页。
这里有个坑得提醒一句。404占比高不一定是坏事,但如果你站内还有大量内链指向这些死链,AI爬虫顺着链接抓过去,浪费抓取预算不说,还可能影响它对站点质量的判断。当年我们做SEO,nofollow和死链清理是常规操作,现在换了个名字叫GEO,底下的活儿一模一样。
我顺手做了个对照:把站内所有指向404的内链列出来,改掉之后重新观察了两周,GPTBot那组的404占比从18%降到了7%,去重URL数涨了一截。数据不算大,但方向是清楚的。
我的判断就一句话:AI爬虫的抓取逻辑,根子上还是爬虫逻辑,遵守robots、看状态码、顺着链接走。你把这些基础活儿做扎实了,它自然抓得顺。至于那些玄乎的GEO技巧,我持保留态度,先把日志看明白再说。
问一句:你们有没有把AI爬虫的UA单独拆出来看过?我这边ClaudeBot的抓取频次低得有点反常,想看看是不是我这边配置的问题,还是普遍现象。
