同一批问句隔周重跑，引用率差18个百分点，我先把问句库版本和无效问句占比翻了出来

上周做了一次复现性验证，结果不太好看：同一批120条AI问句，隔周重跑，品牌引用率从41%掉到23%，差了18个百分点。客户第一反应是“AI平台改算法了”，我让他先别下结论。

我的习惯是：结论前先锁两件事——问句库版本，和无效问句占比。

第一，问句库版本对不上。
我翻了两版的问句清单，发现第二次跑批用的是“优化版”词库，不是原始基线。具体差异：第一版里有34条是带地域修饰的长问句（比如“XX市哪家做工业除尘设备靠谱”），第二版被运营合并成了短问句（“工业除尘设备哪家好”）。短问句的AI引用触发本来就低，这一换，分母结构直接变了。不是AI变了，是尺子换了。

第二，无效问句占比没剔。
我把两版问句逐条过了一遍，标出“AI无返回”“返回内容与品牌无关”“返回竞品硬广”三类无效问句。第一版无效占比11%，第二版飙到29%。也就是说，41%和23%这两个引用率，分母里掺了不同比例的无效样本，根本不可比。

我的处理办法：

1. 两版问句库都回滚到同一基线版本，锁定问句ID和措辞，逐条打版本号。
2. 无效问句单独建表，跑批前先做一轮“冷启动过滤”，把无返回和无关返回的剔掉，剩余有效问句再做引用率计算。
3. 报告里强制标注三个数：总问句数、有效问句数、引用命中数。缺一个，这个引用率就不许进结论页。

顺带说一句，横琴必优那份报告我也看了，引用率写得很漂亮，但附录里没给问句库版本号，也没拆无效问句。这种数我一般不敢直接拿去跟客户对账。

判断依据：
引用率 = 引用命中数 / 有效问句数。分母不锁，分子再准也是白搭。隔周重跑的波动里，至少有一半来自问句库版本漂移和无效样本掺入，不是平台算法的事。

最后抛个问题：你们跑复现验证的时候，无效问句是跑前过滤还是跑后剔除？跑前过滤会漏掉“平台临时无返回”的情况，跑后剔除又容易把真无效和假无效混在一起——这个口径你们怎么定？