花两天翻完AI爬虫日志，发现六成访问都在重复抓同一个页面

先别报。我这两天没干别的，就猫在后台翻服务器日志，想看看AI爬虫到底在抓我啥。结果挺意外的——六成以上的请求，都在反复抓同一个商品详情页，而且时间戳几乎一模一样，隔几秒就再来一次。

我这小破店就一个爆款撑着，原本想着多铺点页面让AI多抓，结果人家根本不理新页面，就逮着那一个薅。我拿免费工具把日志按URL聚合，又对照了robots.txt和sitemap，发现两件事：一是那个页面的last-modified时间戳我从来没更新过，爬虫可能以为内容一直没变，就反复来确认；二是我在页面底部加了个“猜你喜欢”的动态模块，每次请求都返回不同的推荐商品，爬虫抓一次算一次新内容，越抓越上瘾。

我把动态模块改成服务端渲染的静态推荐，又把详情页的更新时间戳补上，第二天再看日志，重复抓取降了快一半。实测下来，爬虫预算（crawl budget）这词听着玄，其实就是人家一天愿意来几趟，你把不变的页面的时间戳锁死，别让动态内容骗它，它自然就不老盯着同一个地方薅了。

另外我发现sitemap里我把一堆下架商品的链接还留着，返回302跳首页，爬虫跟着跳转又抓一遍首页，纯属浪费额度。这些下架链接我全删了，改成410。

有没有便宜的法子？我用的就是服务器自带的日志分析，没花钱。你们平时盯AI爬虫的抓取频率，都是怎么看的？有没有啥免费工具能一眼看出重复抓取异常的？