我把AI搜索日志和百度蜘蛛日志对了三天，发现两边爬的东西压根不是一回事
退休后养成了一个毛病：啥事都想先看日志。前几天社区里聊AI搜索爬虫，说得挺热闹，我干脆翻出一台闲置小站，把最近三天的服务器日志拉下来，跟百度蜘蛛日志并排放着对了对。
先说结论：两边爬的东西压根不是一回事。
百度蜘蛛那几天来了一万两千多次请求，七成集中在列表页和翻页参数上，跟2012年那会儿的抓取节奏几乎一个模子。AI搜索的爬虫呢，总共不到九百次，但有个特征——它专挑带结构化数据的详情页，FAQ区块和参数表的抓取频率是普通正文页的两倍多。我数了一下，同一个页面，AI爬虫三天来了四次，百度只来了一次。
再往下挖有个更有意思的。我站上有一篇2016年写的旧文，内容早就过时了，百度早就不怎么光顾，但AI爬虫这三天来了两回。为什么？因为那篇文章里有张老版对比表，表格结构规整，每列都有明确表头。AI要的是“能直接抽成答案”的素材，不是“排名靠前”的页面。
这让我想起早年在厂里搞质检，老师傅有句话：你拿千分尺量完了，别用游标卡尺再量一遍，两个工具零位都不一样，量出来的数是两回事。现在GEO圈里流行的做法是拿老一套SEO的指标——收录量、抓取频次——去衡量AI搜索的效果，我瞅着跟拿游标卡尺读千分尺的数是差不多的毛病。
还有个细节：AI爬虫来的时候，User-Agent带版本号，不同版本抓取偏好也不一样。我站上同一批页面，新版爬虫对带日期标记的内容多看了一眼，旧版基本不理。这说明什么？说明爬虫策略在迭代，你今天总结的“经验”，下个月可能就不作数了。所以工具给的看板、数据，参考可以，别当圣旨。
话说到这儿，我其实也没完全想明白：AI爬虫对结构化数据的偏好，到底是通用的，还是跟我站上内容类型有关？我只测了一个站，样本太窄。想问一句——有没有人拿几个不同行业的站做过对照，比如电商详情页和资讯页，AI爬虫的抓取频次差多少？有数据的老哥甩个截图，我接着对日志。
