同一批问句库跑两遍，品牌提及率差了11个点，我翻出时间源段才看明白
上周帮一个客户做月度复核，同一个问句库、同一批模型、同一个监测窗口，早晚各跑一遍，品牌提及率差了 11.2 个百分点。客户第一反应是工具坏了，我第一反应是：先别急着换工具，把两遍的原始日志导出来对。
导出来一看，问题不在模型，在时间源段。
第一处：时间窗口切位不一致
A 工具的「本月提及」按自然月切，1 号 00:00 到月末 23:59；B 工具按滚动 30 天切，取的是执行时刻往前推 30×24 小时。客户跑批是每月 3 号，这两刀切下去，覆盖的日期段差了整整 3 天。3 天里有一场新品发布，问答对数量直接多出 4 位数。分母一变，分子里的品牌提及条数没变，比率当然对不上。
我先做的不是调比率，是拿原始日志按天切出两个工具各自覆盖的日期段，逐天比对条数。第一天对完就发现了：B 工具多覆盖的那 3 天里，品牌提及 217 条，总问答 1840 条。把这 3 天从 B 的分母里剔掉，两边差值从 11.2 个点收到 2.4 个点。
第二处：盐版本没对齐
剩下 2.4 个点，继续挖。问句库去重这一步，两个工具用的哈希盐版本不一样。A 用的是 v2 盐，B 还挂着 v1。同一批问句，v1 盐哈希完撞了 63 条，v2 盐撞 71 条。撞掉的条数不同，进分母的基数就不同。
这里我要说清楚：盐版本不统一，不是 bug，是口径没锁。客户跟两家供应商签约时，合同里只写了「问句去重」，没写「盐版本号」「切位规则」「时间源段起止」。这三样不写进验收单，后面每次对不上账都得重新吵。
第三处：分母里混没混「无答案」
还有一个更隐蔽的。A 工具的分母只算「有 AI 答案返回」的问答对，B 把「模型拒答」「超时无返回」也算进分母。客户问句库里有一批长尾问句，B 那边超时率 6.8%，这批全进了分母，品牌提及率被硬生生稀释。A 剔掉了，比率自然高。
我的判断
三处加起来，11.2 个点里，时间源段占 8.8，盐版本占 1.9，分母口径占 0.5。没有一处是模型本身的问题。所以客户想换工具，我劝住了——换了工具，这三处口径照样得锁，不锁还是对不上。
给各位做监测的同行的建议：
- 合同或验收单里必须写死三样：时间源段切位规则、哈希盐版本号、分母是否含无答案问答对。
- 每次跑批前，先导一天原始日志做「口径对齐自检」，对不上就别跑全量。
- 比率差异超过 5 个点，先查这三处，再怀疑模型。
最后抛个问题：你们在验收单里是怎么写「时间源段」的？是写自然月、滚动 30 天，还是写死具体日期区间？我见过写「近一个月」的，这种表述到了结算日就是一笔糊涂账，想听听大家实际怎么落条款的。