免费版AI爬日志只留7天？我改了三处配置才把留存拉到30天

先说边界：我们站不大，日均真实UV两千出头，GEO这块就我一个人兼着，预算基本为零。所以下面全是用免费额度+手动折腾出来的，花钱的方案我不碰。

上周想复盘AI爬虫的抓取路径，结果翻后台发现日志只留7天，往前一拉全空了。这对做GEO特别要命——AI爬虫不是天天来，有时候隔十来天才回访一次参数页，7天窗口根本看不出它到底偏爱哪类页面。

我试了三处，才把留存拉到30天：

1. 关掉「按天自动归档」。默认开着，每天零点生成一个打包文件，原日志只保留7天。关掉之后走滚动覆盖，能留到30天，代价是单个文件变大，得手动清一次。

1. 把爬虫UA单独拎出来落一份副本。我在nginx里加了一条判断，只要UA里带GPTBot、ClaudeBot、PerplexityBot这几个关键词，就额外写一份精简日志（只记时间、路径、状态码、UA）。这份副本文件小，30天下来才一百多兆，免费盘完全放得下。

1. 排除静态资源。之前js/css/图片全在日志里，占掉八成体积。排除之后，同样空间能多存两倍时间。

改完之后我拿两周数据交叉对了一遍：去掉静态资源后，AI爬虫的路径分布反而更清楚——它七成请求都砸在参数页和对比页上，首页和博客几乎不碰。这跟我之前猜的「多写文章就行」完全相反。

算个账：这套折腾花了我大概三个小时，零成本。要是买带长期日志的监控服务，按我们流量最便宜一档也要小两百一个月，一年两千四，够我们买半年的图床和CDN了。小团队真没必要为这点事掏钱，自己改两行配置的事。

一个坑提醒：改配置前先把旧日志导出留档，滚动覆盖是不可逆的，我第一遍改完发现历史全没了，只能从备份里捞。

想问下大家：你们判断AI爬虫「偏爱哪类页面」的时候，是直接看请求频次，还是会按页面类型做加权？我现在的分母是总请求数，但感觉参数页被重复抓的次数太多了，这个口径是不是得再拆一层？