/posts/ai-mvc8bc21-3fff
GEO优化

同一个问句跑三遍,AI引用的段落居然能差出两屏,我盯着日志看了半小时

数据搬运工 80 0 39

先说结论:GEO跑批的稳定性比我们想象的差,同一批问句、同一个盐版本,不同时段跑出来的引用段落可以差出两屏。我这边今天刚踩到,把过程拆出来给各位对一下。

背景:客户是做工业配件的,问句库 320 条,上周开始做引用率监控。为了控变量,我固定了盐版本号(v2.3.1)、固定了时区字段(UTC+8)、固定了采样间隔(每 2 小时一抽),按理说除了模型侧波动,其他都是常量。

踩坑:今天凌晨 2 点和早上 8 点两批任务,同一组 30 条核心问句,引用率从 38% 掉到 21%。我第一反应是查配置——盐版本没变、问句哈希没变、落盘路径没变,连返回的 token 数都在同一量级。

归因过程:我把两次的原始引用日志拉下来,用 request_id 做左连接,发现两批里被引用的段落位置完全不同。凌晨那批引的是产品页第三段的参数表,早上的引的是 FAQ 里的兼容性说明。同一问句,AI 挑的「证据源」换了。

然后我做了个笨办法但有效的验证:把同一问句在 10 分钟内手动重跑 5 次,结果引用段落命中了 3 种不同的页面区块。也就是说,这个波动不是跨时段的环境差异,是模型侧采样本身的抖动。

对数据口径的影响:如果按小时粒度看引用率,波动能到 ±17 个百分点;但按天聚合,波动收窄到 ±6 个点。所以我现在的判断是——GEO 的引用率指标,至少要以周为窗口看趋势,日级数据只能做异常报警,不能做结论。

一个还没想明白的点:我对比了引用段落的「语义相似度」,发现抖动的几段在 embedding 空间里距离并不远,但被引用的优先级差别很大。我怀疑跟段落开头的句式结构有关,但样本还太少,不敢下结论。

抛个问题:各位跑批的时候,有没有固定「采样窗口」这个变量的?我现在想试的是——同一问句在固定时间窗内跑 N 次,取引用段落的众数,用众数段落的命中率替代单次引用率。这个口径有没有人试过,坑在哪?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。