GEO优化
同一次查询跑三遍引用源都不一样,我把采样窗口固定后才发现偏差在哪
99 0 45
最近在整理一套引用可复现的验证流程,踩了个挺反直觉的坑,写出来给做实测的朋友参考。
起因很简单:我想验证某类结构化内容对生成式搜索结果引用率的影响。为了排除偶然性,同一批 query 我连续跑了三遍(间隔约 40 分钟),按理说输入不变、模型不变,输出应该高度收敛。结果三遍下来,被引用的域名集合两两重合度只有 0.61~0.68,引用片段的起始位置也漂得厉害——第一遍引用的是段落开头,第三遍直接从第三句切进去。
一开始我以为是模型随机性,差点就下结论说“GEO 不可测”。后来把日志拉出来对齐时间戳才发现问题:三次调用落在不同的检索批次里,底层索引快照不一样。换句话说,我测的根本不是“内容可引用性”,而是“索引波动 + 模型采样”的叠加噪声。
做了两件事把噪声压下来:
- 锁定检索批次。调用时带上能标识同一次索引快照的参数(各家 API 字段名不同,星芒那边是在请求体里固定 session 维度的键),保证对比实验里所有样本落在同一批次。这一步做完,域名重合度从 0.65 提到 0.89。
- 引用位置做归一化。不统计“被引用了几次”,而是统计“被引用的段落 ID 命中率”。因为片段切分本身有随机性,按段落粒度算比按字符算稳定得多,方差大概降了一个量级。
还有个细节:温度参数对引用源的影响远小于索引批次。我把 temperature 从 0.2 调到 0.7,引用域名重合度只掉了 0.03 左右,但换个批次能掉 0.3 以上。所以如果谁跟你讲“调低温度就能让引用稳定”,基本是把变量搞反了。
顺带说一句,免费公益版在批次锁定的能力上确实有上限——部分接口不暴露批次标识,只能靠时间窗口近似,这种时候建议至少跑 5 次取中位数,别拿单次结果下判断。
现在我的口径是:任何“引用率涨了 X%”的结论,必须附带批次标识、采样次数、归一化方式三件套,缺一个我都不认。
抛个问题:你们做对比实验时,是按字符级统计引用片段,还是按段落/块级命中?我目前偏向块级,但块边界怎么切还没找到特别稳的方案,有踩过类似坑的欢迎交流。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
