别一上来就买GEO工具，我用免费日志先跑三天省了外包费

先说结论：预算紧的小店，GEO第一步不是花钱，是先把免费日志用起来。我上个月差点花两千多外包爬虫日志分析，后来自己动手，三天摸清了AI爬虫的抓取规律，省下的钱够我进两批货。

具体怎么干的

我店铺用的是最便宜的虚拟主机，后台自带访问日志。之前从来没看过，觉得那玩意儿是技术流看的。后来发现，AI爬虫来抓页面的时候，User-Agent里会带特征，比如GPTBot、ClaudeBot这些。我就在日志里搜这些关键词，看它们一天来几次、抓哪些页面、返回码是200还是404。

踩的第一个坑：时间戳对不上

我一开始拿日志里的时间和自己电脑时间比，发现差了好几个小时。先别急着下结论说爬虫乱抓，得先把时区锁死。虚拟主机默认UTC，我本地是东八区，差了8小时。把日志时间统一换算后再看，抓取其实挺规律的——每天凌晨两点到四点集中来，抓的都是产品详情页，分类页反而很少。

省钱的第二个动作：用免费表格拉清单

我把日志导出成CSV，用在线表格（就那个免费的）拉了个透视表，按URL统计抓取次数。结果发现有三个产品页被重复抓了二十多次，因为页面里有个“相关推荐”模块，链接互相跳转，爬虫绕圈了。我把那个模块暂时去掉，重复抓取立马降到个位数。这一步没花一分钱，就是花了两个晚上。

判断依据

我判断爬虫有没有“认真看”页面，不看它抓了多少次，看它抓完之后有没有再回来。连续三天同一个URL只抓一次就走的，说明内容它没兴趣；隔天又来的，才值得继续优化。这个土办法比任何付费工具都直观。

给同样紧巴巴的朋友提个醒

免费日志能看的东西有限，比如它看不到AI最终引用了哪句话，那个得手动去搜。但至少能帮你搞清楚三件事：爬虫来没来、抓了哪些页、有没有重复浪费。这三件事搞明白了，再决定要不要花钱，心里就有底了。

我现在每周花半小时扫一遍日志，比看那些付费报表踏实。

问一句：你们有没有用免费工具排查过爬虫抓取的问题？我这边虚拟主机日志字段特别少，有没有便宜法子能看到更细的请求头信息？