有没有便宜法子？我拿免费日志把爬虫重复抓取从38%压到11%

先说结论：没花一分钱外包，光靠服务器自带的日志加上一个免费表格，我把爬虫重复抓取率从38%压到了11%。省下的外包报价是2800块，够我小店半个月的直通车。

为啥盯上这个

上个月对账，发现带宽费和CDN流量莫名涨了快四成，单量却没动。我第一反应是有人刷我站，后来拉日志一看，同一个AI爬虫一天来抓我商品页17遍，抓的还是同一个URL。我当时就一个念头：有没有便宜的方法，先别急着报故障，自己能不能查。

具体怎么干的（零成本）

1. 日志别买工具，Nginx自带的access.log就够。我按天切分，用awk把UA里带bot的拎出来，导成CSV。
2. 免费表格（我用的是某在线表格的免费版）建三列：时间戳、URL、UA。先把时间戳统一到UTC+8，这一步千万别省，我之前没对齐，算出来的重复率虚高了一倍。
3. 用表格的COUNTIFS按URL+小时做透视，重复抓取一眼就看出来了。我盯的是同一URL一小时内被同一个爬虫抓超过3次的，全标红。
4. 关键一步：锁死时间源。我让日志时间和服务器cron用同一个NTP源，不然落盘时间和采样时间对不上，后面算啥都白搭。

踩过的坑

• 一开始图省事拿grep -c直接数，结果把静态资源也算进去了，重复率飙到60%，差点把自己吓死。后来把css/js/图片全剔了才准。
• 有的爬虫UA是伪造的，看着像浏览器，其实抓取频率不对。我拿IP反查加访问间隔两个维度交叉看，才揪出来两个。
• 别一上来就改robots.txt，我先拿一小段URL做实验，确认是爬虫行为不是用户行为再动，不然误伤真实流量。

省钱的地方在哪

外包一般按站点巡检报价，我问过两家，最便宜的也要两千多，还只给个月报。我自己这套流程，每周花一个下午，表格模板做好以后就是复制粘贴。省下的钱我拿去补了详情页的字段，比买报告实在。

先别报，先自查

我的习惯是：凡是涉及计量的事，先自己拿免费工具跑一遍基线，再去跟服务商对数字。你连自己站上爬虫抓了几次都不知道，人家报啥你都得认。

最后问一句：你们有没有遇到过爬虫抓取频率看着正常、但流量就是下不来的情况？我这边还有两个IP没查明白，想听听大家是怎么区分正常索引和恶意抓取的。