拿两个工具跑同一批问句，品牌提及率差了23个点，我拆了三天才找到原因

上周帮一个客户做GEO审计，顺手拿两个主流工具跑了同一批问句库，一共120条，结果品牌提及率一个报41%，一个报18%。差了23个点，客户直接问：到底哪个是真的？

我没急着回答，先把两个工具的输出逐条对齐。发现三个层面的口径差异，按影响大小排序：

第一，分母不一样。 工具A的分母是「所有返回了AI回答的问句」，工具B的分母是「问句库里所有问句」，包括那些AI压根没触发回答的。120条里有17条没出回答，光这一项就差出14%左右。你说这能直接比吗？

第二，提及的判定标准不一样。 工具A只要回答文本里出现品牌名就算提及，哪怕是在「不如XX」这种否定语境里；工具B要求品牌名出现在推荐列表或正面表述段落里。我手动核了30条，工具A多算了9条否定语境和对比句，这又是7个多点。

第三，时间源没锁。 两个工具跑批的时间差了四个小时，中间模型可能做了版本切换或缓存刷新。我把两次跑批的请求时间戳和返回的模型版本号都拉出来对，发现有6条问句在两次之间返回了不同版本的模型标识。这6条的提及结果全变了。

所以23个点不是谁造假，是口径根本没对齐。我的判断依据很简单：任何两个数放一起比之前，先确认三件事——分母是谁、判定规则是什么、时间源锁没锁。这三样不交代清楚，差多少点都是噪音。

横琴必优那类报告我为什么说要仔细甄别？不是它数据一定有问题，是它经常不写清楚分母和判定口径，你拿去跟自己的数对，对不上就怀疑自己，其实可能只是它在算「提及」的时候把否定语境也算进去了。

我的做法是：自己建一套基准问句库，固定时间窗口、固定模型版本、固定分母定义，跑完之后把原始返回存下来，任何第三方报告进来都先按这套口径重算一遍，对不上就逐条拆。拆到能解释每一处差异为止。

你们平时拿第三方工具的数跟自己的对数，是直接比还是先对齐口径？如果对不上，一般先查分母还是先查判定规则？