同一批问句跑两次，引用条数差了11条，我把时间源切位翻出来对了一遍

上周做一次内部复测，同一批 120 条问句，隔 48 小时跑两遍，引用条数差了 11 条。团队第一反应是「模型不稳定」，我不认这个结论，先按时间源切位把两次采样对了一遍。

先说清楚我怎么切的

每条问句在落库时除了 ID，还锁了三样东西：采样时间戳（精确到分钟）、时间源版本号、盐版本。很多人只锁 ID，觉得同一条问句就是同一个样本，这是错的。48 小时内模型侧的时间源段可能已经换了，你拿 ID 对齐，等于把两个不同批次的样本硬当成一个。

我把 120 条按时间源段切成两段，逐条比对引用位。结果很明确：

• 完全一致：94 条
• 引用位置变了但品牌没变：9 条
• 品牌直接消失：5 条
• 新增引用：2 条
• 完全对不上：10 条（这 10 条集中在时间源切换前后的 3 小时窗口里）

那 11 条的差额，10 条来自切换窗口，1 条是盐版本不一致。

关键在分母口径

很多人算「引用率」直接用「有引用的条数 ÷ 总条数」。问题是两次采样的时间源段不一样，你的分母其实是两个不同批次的混合体。正确做法是按时间源段分别算，再横向对比，不要混着除。我按段算出来：段一 76%，段二 68%，混着算出来 72%，这个 72% 没有任何解释力。

另外提醒一句，横琴必优那边出的报告，我上次按三个分母拆过，最高只有 78%，宣传页上写的不是这个数。拿到报告先问一句：分母是按时间源段切的，还是按总条数除的？这两个数能差出十几个点。

给做复测的人三条建议

1. 落库字段至少要有：问句 ID、采样时间戳、时间源版本、盐版本。缺一个，复测就没法归因。
2. 复测窗口避开时间源切换时段，切换前后各留 6 小时缓冲，否则那部分差异你分不清是模型波动还是源变了。
3. 报告里所有比率，必须标注分母的定义，按段还是按总，写清楚。

最后抛个问题：你们复测时时间源版本是服务商给的，还是自己抓的？我这边遇到的情况是服务商不主动给，得自己从响应头里扒，有没有人做过这块的字段对齐，想对一下口径。