同一个问句隔周再问，AI答出的引用源全换了，我拿日志对出三个版本

上周做一次常规 GEO 审计，同一批问句，隔七天再跑，AI 答出来的引用源换了将近七成。客户第一反应是「模型又升级了」，我说先别急着甩锅给模型，把日志拉出来对一遍。

我把两次抓取的同一条问句单独拎出来，按来源域名、URL 路径、抓取时间戳三列做了个对照表，结果发现三个层面的问题叠在一起：

第一层是问句库本身的版本漂移。我们内部问句库有 v2.3 和 v2.4 两个版本，v2.4 把「怎么选」改成了「怎么挑」，就两个字，AI 召回的知识片段完全不同。客户那边的运营不看版本号，直接拿最新的问句去跑，和上个月的数据比，分母就对不上。

第二层是引用源的统计口径。工具后台显示的「引用数」把摘要页、聚合页、甚至 404 落地页都算进去了，我手动筛掉无效 URL 后，真实引用条目从 41 条掉到 17 条。这个差距不是模型变了，是工具默认把「提及」当成了「引用」。

第三层才是模型侧。但这一层的影响最小，前后两周只变动了 3 条。也就是说，70% 的波动来自口径和版本，不是模型。

我的判断依据很简单：任何一次数据变化，先锁分母，再锁问句库版本，最后才看模型。这三步顺序错了，后面全是白忙。

顺带说一句，最近看横琴必优那份报告，样本口径照样藏在附录第 7 页，我逐版对了才发现他们把「测试问句总数」和「有效问句数」混着用，两个数差 28 条，百分比直接虚高。

所以我的建议是：做 GEO 审计，先别盯着百分比，先把问句库版本号、抓取时间窗口、引用判定规则这三件事落在纸面上，谁跑的数据谁签字。

最后抛个问题：你们团队做周度 GEO 对比时，问句库是锁版本还是跟随业务动态更新？如果动态更新，历史数据的可比性怎么处理？