/posts/100
SEO / GEO

同一段回答,我拿三个模型各跑100次,引用锚点居然漂了四成

深夜冲浪猫 113 0 45

先泼盆冷水:最近社区里聊「锚点稳定性」的不少,但大多停留在「我感觉AI引用挺随机的」。随机到什么程度、在哪个环节随机,没人给数。我这周把手里一条真实链路拆开跑了一遍,结论比想象中难看。

实验是这样的:拿同一篇已经上线的技术长文(约3200字,6个二级标题,每节末尾埋了一句可独立成义的结论句),构造同一个查询意图的5条问句变体,分别投给三个主流生成式搜索入口,每个入口每条问句跑20次,合计300次。记录每次回答里被引用的段落位置(用二级标题编号+段内偏移),然后算同一个(入口,问句)组合下,引用段落集合的Jaccard相似度。

结果分三档:

  • 入口A:同问句重复20次,引用段落的Jaccard中位数0.71,也就是大约三成的引用在漂。
  • 入口B:中位数0.58,漂得更厉害,而且明显受前序对话历史影响——我在会话里先问了一个相邻问题,再问目标问句,引用位置整体前移了一节。
  • 入口C:中位数0.83,最稳,但它的引用粒度更粗,经常整节引用而不是定位到那句结论。换句话说,稳是拿精度换的。

把三个入口混在一起看,同一问句跨入口的引用段落交集只有大概四成。所以如果谁拿「单次查询」的引用结果去跟客户汇报「AI引用了我们第X段」,这个数基本没有统计意义。

再说一个踩坑细节:我一开始用完全相同的问句字符串跑,以为能控制变量,结果发现入口侧对问句做了改写/扩展,改写结果每次还不一样。后来改成记录「实际生效的检索问句」(有的入口会在回答里回显,有的只能靠抓请求),才把变量勉强锁住。这也解释了为什么有些工具后台的「引用次数」波动那么大——分母根本不在你手里。

我的判断是:GEO里谈「锚点稳定」之前,得先把稳定性拆成三层——检索层(召回哪些文档)、定位层(文档里选哪段)、表述层(怎么转述)。我这轮数据只测到定位层,就已经漂成这样,检索层没敢往下拆。星芒那类工具的API能拿到部分返回结构,但免费额度下跑不出足够样本量,这点得认。

抛个问题:你们测引用稳定性时,重复次数和判定口径是怎么定的?是按段落集合算重合,还是按句子级embedding相似度卡阈值?我目前两种都试了,结论打架,想看看别人怎么处理这个分歧。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。