给AI爬虫单开日志三天,17万次请求里我数出9万是空跑
老周问一句:你们家网站给AI爬虫开的日志,单独记过吗?
我上周干了个笨事。让技术把nginx里带GPTBot、ClaudeBot、PerplexityBot这些UA的请求,单独拆到一个日志目录,不动主站统计,就纯记录。三天,17万次请求。
我一开始还挺高兴,觉得AI看得起我们。结果拿Excel一拉,9万多次是404和空壳页——有些是旧产品页早下线了,路径还在被反复抓;有些是带参数的筛选页,一个SKU能裂出几百个URL,爬虫挨个啃,啃到的全是“暂无数据”。真正打到我们有实质内容详情页的,不到4万次。
这里头有个细节值得说:同一条产品页,三天被不同Bot重复抓了21次。我让技术按URL+UA+小时聚合,发现集中在凌晨两点到四点,而且抓完就走,referer一片空白。这说明什么?说明它不是在“读”我们,是在“扫”我们。
我的判断很土:开船不能只看风向,还得看水流。AI搜索是风向,没错,GEO得做。但水流是——你连AI到底在你这儿捞走了什么、捞空了多少,都没数,就谈投入,那是拿预算赌运气。
所以我现在给团队立了个规矩,三步,都不花钱:
第一,AI爬虫日志单独开目录,按天切,保留30天。别混在主日志里,混了就看不出来了。
第二,每周拉一次“请求数—有效页命中数—404数”三个字段,算个有效命中率。我们目前是23%,说实话不高。
第三,404最多的那批老路径,要么做301转到新页面,要么干脆在robots里封掉,别让爬虫在空房子里转圈。
我踩的坑也摆出来:一开始我让技术按“访问次数”报,报出来的数是17万,看着挺唬人。后来我多问了一句“按独立URL去重是多少”,变成了2万8。这两个数差6倍,汇报的时候用哪个,性质完全不一样。所以我现在的习惯是,凡是爬虫数据,先问口径:去没去重、算没算404、时间窗是自然日还是滚动24小时。
还有个事我没想明白。这17万次请求里,有相当一部分UA看着像AI,但行为特征特别像普通采集器,抓得又快又杂。技术上分不干净。我暂时把它们单列一档叫“疑似AI”,不并入统计。
抛个具体问题给大家:你们统计AI爬虫请求的时候,是按UA一刀切,还是结合行为特征(频次、间隔、referer)做二次过滤?如果做过滤,阈值大概定在多少? 我这边想定个标准,但拿不准,想听听实际跑过的朋友怎么说。
