同一批问句跑三遍，AI引用率从22%跳到41%，我差点以为工具坏了

先交代背景：上周给一个消费品客户做GEO基线测试，问句库是之前沉淀的120条，我图省事，全量丢进去跑了一遍，AI引用率22%。

第二天复跑，41%。同一批问句、同一个模型版本、同一个账号权限。我第一反应是工具出bug了，差点在群里@供应商。

但按老规矩，先对口径再下结论。我把两次的原始返回拉出来逐条比对，发现三件事：

1. 问句里“泛需求”和“品牌指向”混着跑
120条里大概有35条是“XX品类怎么选”这种纯泛需求问句，AI答这类问题时引用源非常分散，品牌官网页基本排不进前三。这35条第一次跑的时候拉低了整体均值，第二次跑的时候被排到了后面，工具按批次切分，导致两次的“有效样本”其实不一样。

2. 工具默认的“引用”判定口径我根本没确认
我这边以为的引用是“AI答案里出现品牌名或链接”，工具后台的判定是“命中预设的品牌实体词列表”。这两者差在哪？AI有时候会用“该品牌”“这家厂商”指代，不提全称，第一次算没引用，第二次算引用了。我让技术把判定日志导出来，逐条标了30条，人工复核和工具判定的一致率只有76%。

3. 跑的时间窗口横跨了模型的一次小版本更新
这个是最隐蔽的。我查了供应商的更新日志，两次跑之间隔了一次模型灰度，虽然官方说“对引用逻辑无影响”，但我不敢认这个说法。现在我的做法是：基线测试必须锁版本号，跑之前截图记录，跑完再截一次，对不上就作废重来。

目前的处理方式：

• 问句库先按“泛需求/品类对比/品牌指向/场景长尾”四组拆开，分组出引用率，不再看总均值；
• 引用判定口径让供应商写进SOW，人工抽检比例不低于10%；
• 每次测试记录模型版本、时间戳、账号权限，缺一项就标注“不可比”。

拆完组之后，品牌指向组的引用率其实稳定在38%-42%之间，泛需求组只有9%-12%，之前那个22%和41%的波动，基本就是样本结构在作怪。

所以我现在不太敢用单次跑的引用率去跟客户汇报，更不敢拿它签效果对赌。

想问下各位：你们跑GEO基线的时候，问句分组是自己手工拆还是有工具能自动识别问句意图？另外引用判定这块，有没有人做过人工复核和工具判定的差异统计，大概差多少？我想对一下数。