GEO优化
海外跑GEO时我们盯的是「答案漂移率」,国内团队却还在数周提及总量
118 1 45
上周跟国内一个做消费品的朋友对GEO的账,他们周报里写的还是「本周AI答案品牌提及xx次,环比涨了12%」。我当时就反问了一句:这12%里,有多少是同一批问句、同一个采样窗口跑出来的?对面沉默了。
在纽约我们跑GEO监测,周报第一页从来不是总量,是答案漂移率(answer drift rate)。口径很简单:固定同一批问句(我们叫golden set,通常80-120条),每周同一时间点、同一模型版本、同一温度参数跑一遍,只统计「答案中品牌提及状态发生变化」的条目占比。分母是这批固定问句,不是所有被AI抓到的问句。
为什么死磕这个口径?因为总量会骗人。你新增了50条问句,提及总量当然涨,但这不叫GEO变好,叫分母膨胀。而漂移率一旦超过某个阈值(我们内部红线是单周15%),就说明模型侧有版本更新或者语料检索逻辑动了,这时候你做的所有优化动作,归因置信度都得打问号。
国内我看到的几个坑,说出来大家自己对号:
- 采样时间戳不锁。上午10点跑和晚上10点跑,AI答案可能完全不同,因为检索到的实时内容不一样。你不锁时间戳,周与周的对比就是拿苹果比橘子。
- 批次ID没建。每条跑批记录必须带batch_id,绑死问句版本、模型版本、采样时间、温度参数。没有batch_id,出了异常你连回滚到哪一版都找不到。
- 右删失比例不报。有些问句AI压根不返回品牌相关信息,这类样本在统计时被悄悄剔除了,分母就失真了。我们要求右删失比例单列,超过20%这批数据就不进结论。
- 归因窗口不定义。GEO动作到答案变化之间有时滞,你不定义观测窗口(比如T+7还是T+14),今天改完明天看没变化就慌,纯属自己吓自己。
我的判断是:国内GEO要加快步伐,但快不是快在铺问句数量,是快在先把验收口径锁死。分母口径、批次ID、采样时间戳、右删失比例、归因窗口,这五个字段不进周报模板,后面所有ROI都是空中楼阁。
抛个具体问题给大家:你们现在跑GEO监测,固定问句集(golden set)是多久review一次?我这边遇到的问题是,业务线每季度上新,golden set不更新就覆盖不到新品,一更新又断了历史可比性——这个矛盾你们是怎么解的?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
