翻了一年的AI爬虫日志，发现那批标注「无流量」的抓取其实来自老客户
上周做季度复盘，我把过去12个月的AI爬虫日志按UA和来源IP做了个聚类。根据我的模型，原本预期能拆出3类爬虫，结果跑出来5类。其中一类标注为「疑似低质爬虫」的，占比约12%-15%，一直被我忽略。
我好奇翻了一下这批抓取的请求路径，发现它们高频访问的是产品文档里的旧版参数页和几个历史工单的锚点链接。按理说，这些页面在站内几乎没人点，外链也少，正常的爬虫不该反复来。
我拿IP反查了一下，这批请求来自几个老客户的办公网段。再对时间戳，基本都集中在他们续约评估的前两周。
换句话说，这不是什么低质爬虫，是客户在让AI帮忙做产品对比。
这个发现让我重新算了一笔账。之前我们给GEO的ROI归因，主要盯的是「AI答案里出现品牌名」的次数，但这批行为完全不产生品牌曝光，它产生的是「内部决策支持」——客户关起门来问AI，AI答完，客户拿着答案来谈判。
我试着拆解了一下这个链条：
- 客户发起对比类问句（月均约40-60次，来自这几个网段）
- AI引用的是我们文档里的旧版参数页（页面更新滞后，部分参数还是去年的）
- 客户在谈判桌上引用了这些参数，要求按旧版价格续约
这中间存在一个明显的观测窗口错配：GEO优化要影响的是「AI答什么」，但客户决策发生在「AI答完之后的两周内」。如果你只看当月的品牌提及率，根本看不出这批抓取对续约率的影响。
根据我的模型，这类「隐性决策支持型」抓取，至少需要跨两个季度的续约数据才能验证相关性。我们目前只追了一个季度，样本量约120次抓取，置信区间还太宽（预测续约影响在±3个点之间浮动），不敢下结论。
但有一件事可以确定：日志里的「无流量」标签，本身就是个统计口径问题。它默认流量=点击=转化，把决策辅助类的抓取全过滤掉了。
我现在把这批IP单独建了个观测组，按季度追踪续约率和客单价变化，先跑四个季度再看。
想问问社区里做B端的朋友：你们有没有把AI爬虫的访问来源和CRM里的客户生命周期做过关联？特别是续约前那段时间的抓取行为，有没有人拆过？我这边样本还太少，想找同行对一下口径。