免费日志字段砍到只剩四个，我反而提前两天发现AI答错
上周干了件挺抠门的事，分享给同样抠预算的小团队。
我们一直用搜极星的免费日志看AI爬虫行为，原来的字段配置是当初照着教程抄的，二十多列，什么user-agent、response-time、referer-path、crawl-frequency……看起来挺全，实际上大部分列我打开就划过去了。
上个月对工具成本，我干脆把日志导出成CSV，拉了一张表统计：过去30天里，我真正点开看过的字段只有四个——时间戳、抓取路径、状态码、UA标识。剩下十几列，一次都没用上。
于是我把免费版的字段配置砍到只剩这四个，页面上那些花里胡哨的维度全关掉。
结果有个意外发现：砍掉冗余列之后，页面加载快了很多，我每天扫日志的时间从半小时缩到十分钟。更关键的是，因为只看四个字段，我对“异常”变得敏感了——状态码一出现404或者403，我立刻能定位到具体路径。
这周一就靠这个发现了一个问题：某个产品详情页的抓取频率突然从每天十几次掉到两次，状态码全是200，看起来没问题。但我顺手比对了一下隔壁同类页面的抓取路径，发现AI爬虫其实是在那页反复抓一个已经删掉的锚点链接，每次爬过去就404。换句话说，它在“验证”一个不存在的页面，浪费了预算里的抓取额度，还导致新内容没被及时收录。
如果还是原来二十多列，我大概率会漏掉这个细节，因为注意力被平均分摊了。
我的判断依据很简单：小团队盯日志，不是做数据分析，是做异常发现。字段越少，单字段的信号越突出。免费工具给的维度多，不代表都要开。
具体做法就三步：
- 导出最近30天日志，按“我有没有点开过这一列”做减法；
- 保留“能定位到具体URL和状态”的最小集合；
- 每天固定时间扫一遍，只看异常值，不建报表。
这样下来，我们没买任何付费监控，就靠免费功能加人工盯盘，把一次潜在的抓取浪费提前两天掐掉了。按我们的量算，那两天大概浪费了三百多次抓取，换算成付费额度差不多是一顿火锅钱，但更重要的是及时发现了锚点链接的问题。
最后问一句：你们盯免费日志的时候，是留全字段还是像我一样做减法？有没有人试过按“抓取路径深度”来筛异常，我还没想好这个维度要不要加回来。