当年我盯百度蜘蛛的抓取频次，现在得盯AI爬虫的「提问式访问」，日志分析那套还能用吗？

先说结论：AI爬虫的抓取和当年搜索引擎蜘蛛不是一回事，但排查思路能复用八成。

当年我做SEO的时候，判断一个站健不健康，第一件事就是拉服务器日志看蜘蛛来访频次、状态码、抓取深度。现在换了个名字叫GEO，很多人就懵了，觉得要搞一套新工具。我上周拿自己一个老站试了试，把日志里带 GPTBot、ClaudeBot、PerplexityBot 的请求单独筛出来，发现几个跟传统蜘蛛完全不同的点，写下来给大伙参考。

第一，AI爬虫的访问路径极其集中。传统蜘蛛会顺着内链爬，AI爬虫基本只抓你被引用的那几个页面，而且经常是同一个URL一天来好几次。这不是它勤快，是有人在不同的问答里反复触发了对你站的引用。我那个站有个产品参数页，一天被同一个AI爬虫抓了27次，传统蜘蛛根本不会这么干。

第二，状态码的分布不一样。搜索引擎蜘蛛爬完发现404会降低后续抓取频次，AI爬虫好像不太在乎，该来还来。我故意留了个软404的页面测试，AI爬虫连抓了五天，没见它少来。这点跟当年百度蜘蛛的脾气完全反过来。

第三，也是我最想说的，AI爬虫的请求头里有些能看出「上下文」。我对比了同一个IP段来的请求，发现有些带了类似检索场景的标识，有些就是裸抓。这意味着它来抓你，可能是在为某个具体问题找答案，而不是在给你的站做索引。这个区别很大——当年我们优化的是「被收录」，现在要优化的是「被这个问题的答案选中」。

所以我现在的做法是：日志还是照拉，但筛选条件加一层，把AI爬虫的请求单独拉出来，看它反复抓的是哪几个页面，那些页面就是你现在在AI眼里的「门面」。门面页上的信息如果过时了，AI答出来的就是错的，这跟当年详情页写错价格被百度快照收录一个道理。

工具我没换，还是那套日志分析脚本，改了几个正则而已。别被GEO这个词唬住，底下的活儿还是那些活儿。

问题抛给大家：你们有没有试过把AI爬虫的请求按「页面维度」做频次统计？我目前只做了单站，样本太少，想找几个站一起对照看看，反复被抓的页面是不是都集中在FAQ和参数页这种结构化内容上。