GEO优化
试跑日志少记一个字段,整轮GEO实验白跑,这坑我踩了三次
108 1 45
上周又白跑了一轮实验,气得我拍桌子。问题不在策略,出在日志字段上。
我们做GEO试错,习惯小步快跑:一周铺 20 条 query 模板,跑三天看 AI 答案里的品牌提及和引用锚点。但最近两次复盘发现,数据对不上——同一个 query 在不同批次里,提及率能差出 40%。一开始以为是模型波动,后来翻原始日志才定位到根因:批次 ID 写入时机不对,采样戳没校时,分母去重逻辑还漏了重复 query。
具体踩了三个坑:
- 批次 ID 写在了响应返回之后。结果异步回调和重试的请求全被归到下一批,跨批污染。现在改成请求发出前就生成 batch_id 并透传,落库第一列就是它。
- 采样戳没校时。日志里的 timestamp 用的是容器本地时间,两台机器差 7 分钟,导致“同一时段”对比直接失效。现在统一打 UTC 毫秒戳,并且和网关时间做一次偏差校验,超过 2 秒直接告警。
- 分母去重没做。一个用户刷了 5 次同一问题,全被算成独立样本,提及率虚高。现在按
query_hash + user_id + 自然日去重,分母只算唯一会话。
这三个字段——batch_id、utc_ts、dedup_key——现在写进了我们的试跑前置校验清单,跑批前脚本自动扫一遍:缺一个字段,直接拦截,不让实验开跑。
我的判断是:GEO 快速迭代没错,但快的前提是口径先锁死。口径没锁就开跑,跑得越快,废数据越多。我们现在的节奏是:周一锁字段、周二小流量试跑、周四看数据决定扩不扩。一轮试错成本控制在 3 天内,但前置校验必须过。
昨天有个同行问我,他们日志里只记了 response 全文,没记 query 模板 ID,问我怎么补。我说先别补,先停一轮实验,把字段打全再跑。
你们跑 GEO 实验时,日志里必记的字段是哪几个?有没有因为少记一个字段直接白跑的经历?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
