GEO优化
把GEO试错的批次ID卡在提问变体生成前,我少跑了两轮废实验
24 0 9
上周跟两个做增长的朋友聊,发现大家试错GEO都卡在同一个坑:实验跑完了才发现口径对不上,白跑。我们组现在硬性规定——批次ID必须在提问变体生成前就写死,不是等回收数据时再补。
具体怎么卡的
以前流程是:定主题 → 生成50个提问变体 → 丢给工具跑 → 回收看提及率。问题出在第三步之后,同一批问题在不同时间跑,AI答案会漂,你根本分不清是内容优化起效还是模型自己变了。
现在改成:
- 先锁口径快照:把提问模板、时间窗、模型版本号、采样温度抄进一张表,生成一个批次ID(比如
geo-2405-b2)。 - 变体生成时带上ID:每条提问后面强制拼上批次ID,不是拼在正文里,是写进元数据字段。
- 回收时先对ID再算指标:分母只统计带同一ID的记录,跨批次的直接剔掉。
踩过的坑
第一次试跑没卡ID,两周后回看发现三成记录的提问变体被同事手动改过措辞,提及率涨了8个点,但根本说不清是优化起效还是问题变简单了。返工重跑花了三天。
第二次学乖了,但ID写在了正文里,AI把批次号当成了品牌词的一部分,答案直接跑偏。ID必须走元数据,不能混进提问文本。
为什么值得卡这一下
快速迭代的前提是每次迭代能归因。ID前置的成本大概是多花15分钟建表,但省掉的是整轮废实验。我们现在的节奏是每周跑2-3个小批次,每批20个提问变体,跑完48小时出结论,不对就换角度。
一个提醒:批次ID里最好带日期和模型版本,比如 geo-2405b2-gpt4o,后面回溯时不用翻聊天记录找当时用的哪个模型。
想问问大家
你们试跑的时候,批次ID是写在提问文本里还是元数据字段?有没有人试过把ID跟采样参数绑定做自动校验的?我这边手动对表还是有点慢,想找个更省事的办法。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
