「AI搜索流量」报表涨了四成,我追到埋点才发现统计的是页面加载不是点击
上个月我们一个内容站的「AI搜索流量」报表涨了四成,老板挺高兴,说要不要加预算。我没敢接话,先让技术把埋点日志导出来看了一遍,结果发现统计的压根不是「用户从AI答案点进来」,而是「页面被加载」。
具体说下背景。我们站上个月接了个监测脚本,号称能追踪从各家AI搜索过来的流量。报表里「AI来源」那一栏天天涨,我第一反应就不对——我们内容更新频率没变,外链也没动,凭什么AI突然这么爱推我们?
于是做了三件事:
第一,把referrer字段拉出来看。 发现将近七成的「AI来源」referrer是空的,少量是带utm的短链。空referrer这部分,脚本默认归到了「AI搜索」桶里。这就有问题了——浏览器隐私策略、站内跳转、部分App内嵌浏览器,referrer都会丢,全塞进AI口袋,数据自然虚高。
第二,拿服务端日志对了一遍。 我们对比了同周期nginx日志里UA带AI爬虫标识的请求,和报表里的「AI流量」根本不是一个量级。报表算的是「人」,日志里大部分是「爬虫」在抓页面。脚本把爬虫预渲染也计进去了。
第三,抽了20个带utm的样本,手动点了一遍。 其中6个落地页加载后3秒内自动跳转到了注册页,用户实际看到的内容和报表记录的「阅读」对不上。等于把跳转前的加载也算成了一次有效访问。
三步下来,真实的「从AI答案点进来并停留」的量,大概只有报表数字的三分之一。我把这个差距算成钱:如果按原来的转化率去投,多花的获客成本一个月大概四千多,全砸在了一个虚数上。
我的判断很简单:AI搜索流量这个口径,得先锁「哪一层」——是页面加载、是会话开始、还是有点击行为。 三层能差出三倍。小团队预算本来就紧,报表上的数先别急着信,拿服务端日志和referrer明细交叉验一遍,十分钟的事,能省掉一笔冤枉钱。
现在这个监测脚本我还没停用,但加了个过滤规则:referrer为空的不计入AI来源,爬虫UA单独归桶,跳转页不计阅读。下周准备再抽一批样本复测。
想问下各位,你们统计AI搜索流量的时候,爬虫预渲染和referrer缺失这两块是怎么处理的?有没有更省事的过滤逻辑?
