我用免费方案把AI爬虫日志的重复抓取从70%压到12%，省下外包钱

先说结论：不用买任何工具，用服务器自带的日志加两张免费表格，就能把AI爬虫的重复抓取揪出来。 我上个月差点花三千块外包做「日志清洗」，后来自己折腾了三天，省了。

起因

我这个小店就一个服务器，跑着商品页和几个落地页。最近发现带宽费涨了，问服务商，人家说「爬虫流量大」。我怕被白嫖，但又不懂技术，第一反应就是「有没有便宜的方法」能查清楚。

具体操作（全是免费的）

1. 抓日志：我用宝塔面板自带的日志分析，先把过去7天的 access.log 下载下来，文件大概200M，用 Excel 打开会卡，所以我用了个免费工具叫 GoAccess，命令行跑一下就能出统计报表，不花钱。
2. 认爬虫：看 User-Agent，把包含 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 这些字段的行筛出来。这里有个坑：有些爬虫会伪装成普通浏览器，所以我加了一条规则——只要 IP 段和已知的 AI 公司对不上，但请求频率又特别高，就标记为「可疑」。
3. 找重复：把 URL 列出来，用 Excel 的「删除重复项」功能算每个 URL 被不同爬虫抓了几次。结果发现一个商品详情页，7天里被同一个爬虫抓了 43 次，每次参数里带的 ?from=ai 都不一样，实际上内容完全一样。
4. 对时间戳：这一步最关键。我把日志里的时间和服务器时区对了一遍，发现宝塔默认用的是 UTC+8，但我的应用日志用的是 UTC，差了8小时。这就导致我一开始以为「半夜没人抓」，其实全挤在白天。时间源不锁死，后面全是白算。

算账

• 重复抓取占比从 70% 降到 12%（加了 robots.txt 里的 Crawl-delay 和 Disallow 带参数的 URL）。
• 带宽费一个月省了大概 40 块，不多，但外包报价是 3000，这笔账我算得过来。
• 更重要的是，我摸清了自己店里哪几个页面最招爬虫，后面做 GEO 就重点优化那几个，不用瞎铺。

判断依据

我的原则是先别报——看到异常先自己查三层：日志 → 时间戳 → 参数去重。这三步走完，再决定要不要花钱。很多服务商就是吃准了小商家不懂，把「日志分析」包装成高级服务。

最后问一句

我现在的做法是直接 Disallow 带参数的 URL，但这样会不会把正常的 AI 抓取也挡了？有没有人试过用 robots.txt 里的 Allow 精确放行，而不是一刀切？有没有便宜的法子能既挡重复又不断正常收录？ 求个实测过的方案。