GEO试错别一上来就铺全量,我按「三层漏斗」砍掉七成垃圾问句
先说结论:GEO 试错最贵的不是模型调用,是把没校准过的问句直接铺满全量。我上周刚踩完这个坑,快速迭代了一版筛选流程,分享给同样急性子的朋友。
踩坑现场
我们内部跑一版 GEO 问句集,最初的流程是:拉 3000 条候选问句 → 全量跑 AI 搜索采样 → 人工抽检引用率。听起来很爽,实际跑完第一轮我就发现两个致命问题:
- 采样时间源没锁。上午 9 点跑的批次和下午 3 点跑的批次混在一起,同一个问句引用条数能差 8 条以上。
- 分母去重没做。同一个意图换了三种问法,被算成三条独立样本,引用率直接被稀释。
结果就是:3000 条跑完,真正能拿来归因的不到 900 条,剩下全是噪音。成本没省,时间白烧。
我现在的三层漏斗
第一层:意图聚类,先砍量(3000 → 800)
别急着跑模型。先用最笨的办法把问句按意图聚类,同一意图保留 1-2 条代表问句即可。业务侧验证过的核心意图优先,长尾的、语义模糊的、明显是竞品词蹭流量的,直接踢掉。这一步纯人工 + 关键词规则,半天能搞定,砍掉七成量。
第二层:时源锁定 + 批次 ID(800 → 600)
每批采样前,强制记录:采样时间戳、模型版本、地区、登录态。批次 ID 必须写进原始数据的第一列,不是事后补。这一步我踩过坑——有次忘了记模型版本,两周后回看数据,完全不知道那次引用率波动是内容问题还是模型更新了。快速迭代的前提是数据能回查,不然迭代个寂寞。
第三层:小样本 A/B 再放大(600 → 跑 60)
这是最反直觉的一步。别一次跑完 600 条。先抽 60 条跑一轮,看引用分布是否稳定。稳定了再放大到 200,最后才是全量。我现在的节奏是:周一跑 60 条看信号,周三根据信号调整内容,周五跑 200 条验证,下周才决定要不要全量。小步快跑不是一次跑完再回头,是每步都有反馈。
判断依据
为什么敢这么砍?因为 GEO 的引用率本质是「内容-问句-模型」三者匹配度的信号,不是样本量堆出来的。60 条代表性问句跑出来的相对排序,和 3000 条全量跑出来的排序,相关性已经足够指导决策。剩下的边际收益,不值得那个成本。
一个问题抛给大家
你们做问句筛选时,意图聚类是人工做还是用模型做?我试过让模型聚类,结果它把「怎么选」和「怎么退」这种决策阶段完全不同的意图归到一类,反而更乱。有没有人跑通过自动聚类的口径,求分享。
快速迭代,但别用没校准的数据迭代。
