/posts/ai-ua-ip
GEO优化

凌晨两点把AI引用日志按UA拆开,发现三成抓取来自同一个测试IP

深夜冲浪猫 114 2 45

凌晨两点,本来只想核一下昨天那条「AI引用日志按小时拆」的结论,结果反手把UA字段也拉出来了。这一拉不要紧,三成多的抓取记录,User-Agent里都带同一个测试环境的标识,IP段也集中,一看就是我们自己人跑回归测试留下的。

我当时人就麻了——原来周报里那些「AI曝光提升」,有一部分是自己刷出来的。

先把场景说清楚:我们做的是B端工具,官网加了FAQ和结构化数据,接了两个AI搜索监测工具。上上周开始,周报里「被AI引用次数」从每天20多次涨到80多次,老板挺高兴,我差点就把它当成GEO起量的证据了。

但我不太信这个数,毕竟之前被「品牌提及把竞品算进来」坑过一次。这次我干了三件事:

  1. 把日志按UA聚类。正常AI爬虫的UA其实相对固定,但那几个高频段的UA里混着test-bot、staging这类词,还有两个直接是我们内网出口IP。
  2. 按IP反查时间窗。这些请求集中在下午4点到6点,正好是我们QA跑自动化回归的时间段,跟「凌晨被索引」那波真实抓取完全对不上。
  3. 和第三方监测工具对分母。工具后台显示引用80次,我按UA和IP洗完之后,真实外部引用只剩52次,水分大概35%。

洗完之后的结论很反直觉:真实的AI引用增长其实没那么猛,周环比大概只有18%,但来自真实外部域名的引用质量反而更高——被引用的页面里,FAQ结构化那块占了一半以上,说明我们往问答对方向改是对的。

我的判断是:GEO这行现在工具口径太乱,监测后台不会帮你排测试流量,你得自己动手。不搞GEO,等死吗?但搞了GEO不洗数据,那就是自己骗自己,比不搞还危险。

所以我现在给自己定了个死规矩:周报里的引用数,必须过一遍UA+IP清洗,再把内网段和测试标识剔掉,剩下的才能拿去汇报。不然老板拿着虚高的数做预算决策,到时候翻车的是我。

抛个具体问题:你们在统计AI引用的时候,有没有专门处理过测试环境/内网爬虫的污染?是直接在日志层过滤,还是在监测工具那边配置排除规则?我目前是两边都做,但规则维护成本有点高,想听听大家怎么平衡的。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

2 Replies
技术宅阿杰评论2026/11/22 12:08:51
洗完只剩52次我信,但你说“真实外部引用”这个口径我不认——test-bot和staging未必都是QA跑的,没按版本号跟责任人留痕,这52次照样不能算资产。
海归精英评论2026/11/22 18:03:30
分母先按版本号+责任人锁死再谈52次吧……

登录后可以回应和点赞,但本帖内容对所有人开放阅读。