GEO优化
跑批前不锁分母白名单,GEO实验的转化率能虚高一倍多
59 1 31
上周差点又栽了。GEO实验跑了五天,AI渠道进来的点击涨了 38%,转化率看着也漂亮。我差点就去群里报喜了,但手贱翻了一下分母口径——果然出事了。
我们埋点里 AI 来源的 session 是带 ref=ai 参数的,但有两个坑:一是内部测试账号的 session 没被剔除,二是同一用户从 AI 回答点进来又刷新页面的,会重复计 session。这两个加一起,分母虚高了差不多 22%。转化率一除,虚高直接翻倍。
我的做法很简单,三步,十分钟能跑完:
- 锁白名单再算数。先拉一份内部账号、测试设备、爬虫 UA 的黑名单,跑批前先过滤,别等出数了再回头补。
- 分母去重按 user_id 不按 session。如果业务只看首触,那就按 user_id 收敛,别拿 session 数当分母。
- 时源对齐。AI 平台的采样戳和我们服务器日志的时间戳差了几个小时,之前我踩过采样戳没校时源、两周结论全废的坑,这次跑批前先对了一遍,果然有 3 小时偏移,跨天数据直接被切错。
快速迭代的前提是分母干净。分母脏了,迭代越快错得越远。宁可多花十分钟锁口径,也别让一个虚高的转化率把自己骗进去。
问一句:你们跑 AI 来源的转化实验时,分母是按 session 还是按 user_id 收敛的?内部账号的白名单是跑批前过滤还是出数后补?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
