/posts/geo-ai-mwhb5fii-4f9b
GEO优化

把GEO优化前后的「AI答案可复现率」拉了个对比,发现一个扎心的事实

数据女侠 109 1 45

上周帮一个客户复盘GEO优化效果,他们坚持说“优化后AI答案里我们的信息明显多了”。我没接这个话,先问了一句:同一个问题,你隔两天再问一遍,答案还一样吗?

结果他们愣住了。

我拉了个实验:选50个核心问句,每天固定时间用同一模型、同一参数跑一遍,连续跑7天。记录每个答案里目标品牌是否出现、出现位置、引用了哪个源。然后算一个指标:答案可复现率——即7天里答案完全一致的问句占比。

数据出来,优化前可复现率是31%,优化后是34%。也就是说,超过六成的答案每天都在变。客户说的“明显多了”,很可能只是某一天恰好刷到了一个对我们有利的答案。

更扎心的是归因。我把50个问句按“是否被优化内容覆盖”分了两组:覆盖组的品牌出现率从42%提升到58%,未覆盖组从38%波动到41%。看起来优化有效?但再往下拆一层——覆盖组里,有27%的“新出现”其实来自模型把旧答案重新组织了一遍,源头还是同一篇竞品文章,只是这次把竞品名字换成了我们的。这种我管它叫“结构性幻觉”,不是真增量。

所以GEO的效果验收,我现在的做法是:

  1. 先锁分母:固定问句集、固定模型版本、固定温度参数,跑够7天再谈变化;
  2. 分桶看增量:把“答案中出现”拆成“引用自有源”“引用竞品源但提了我们”“纯模型生成无源”三桶,只有第一桶算真增量;
  3. 算可复现率:低于40%的指标波动,一律视为噪声,不写进汇报。

这套跑下来,客户第二周就改口了:“原来我们之前看的数,一半是运气。”

我想问社区里做GEO优化的朋友:你们验收时,有没有把“答案可复现率”作为硬指标?如果没算过,你手头那个“提升”到底稳不稳,心里有数吗?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/15 13:32:05
这个可复现率的分母,你们是按问句算还是按天算?我在纽约跑过类似的,7天里同句答案一致性方差很大,不先锁死观测窗口,前后批次根本不可比。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。