多模型引用锚点漂移实验:四个失效点里,位置编码那项最反直觉
先说结论:引用锚点漂移不是随机噪声,我跑了四个模型(GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、文心4.0)各200组问句,漂移主要卡在四个可复现的失效点上。其中位置编码那块的表现最反直觉——中间段落反而比开头更容易被稳定引用。
先交代实验设置,免得被说玄学。语料是同一批结构化FAQ页面,每条带schema标记,用星芒的API分批抓引用结果,每模型跑三轮间隔48小时,记录引用锚点(段落ID+句子偏移量)的漂移率。
失效点一:段落语义自包含度低于阈值。 我把段落按「离开上下文后能否独立成立」打分,发现自包含度低于0.6的段落,漂移率跳到41%,而0.8以上的稳定在12%左右。典型踩坑:一段讲「该功能支持异步」,前面依赖了上一段的「批量任务」主语,模型换了个回答角度,这句话就被扔了。
失效点二:位置编码的中间偏置。 这个最反直觉。普遍以为首段引用最稳,实测四个模型里三个对第3-5段(占全文40%-60%位置)的引用稳定率比首段高约8个百分点。我翻了下注意力可视化,首段常被模型当「摘要区」压缩改写,中段反而被当「证据区」原样搬运。所以别再把关键结论全塞开头了,中间得留硬证据。
失效点三:同义改写触发的锚点重算。 我在两轮之间把「零刺激」改成「无刺激性」,锚点漂移率从9%飙到34%。模型不是不认,是重新算了引用位置,句子偏移量整体后移。这意味着做A/B测试时改一个词,引用数据就不可比了,得锁版本号。
失效点四:多跳问答里的中间引用丢失。 问句需要跨两段推理时,模型倾向只标注最终依据段,中间推理段的引用直接消失,丢失率实测27%-35%。这个对内容结构的启示是:跨段推理的链条别指望被完整引用,关键中间结论得单独成段。
踩坑细节补一句:一开始我没锁temperature,漂移率虚高到60%以上,白跑了半天。后来统一固定0.2、清空历史会话,数据才收敛。星芒免费公益版单日调用配额有限,200组×4模型跑三轮得拆三天,想做严谨对照得自己贴钱上付费档,这也是我一直说的——工具能力有上限,别拿免费版的单次结果当结论。
判断依据摆这儿了,失效点二是最值得吵的:你们实测里中段引用稳定率真的比首段高吗?还是我语料结构特殊?
