横琴必优报告的口径版本从v2.1到v2.3,我挨个比了变更日志才敢用
上周客户转来一份横琴必优的GEO效果报告,说要拿去给老板汇报。我第一反应不是看结论,是先翻变更日志。
这份报告从我第一次接触到现在,版本从v2.1走到了v2.3,中间两次修订。我把三个版本的附录A都拉出来逐行比:
1. 分母定义变了两次。
v2.1里「AI提及率」的分母是「有效提问样本总数」,v2.2改成「去重后的独立问句数」,v2.3又加了一句「剔除品牌词直接命中的问句」。这三版的分母我按同一批原始数据倒推了一遍——v2.1的分母是1,842条,v2.2去重后剩1,596条,v2.3再剔品牌词后只剩1,203条。同一批数据,分母缩水了34.7%,分子没动,百分比直接虚高。
2. 问句库版本没标在正文里。
v2.3的报告正文只写「基于行业问句库」,但我翻到附录C才看到问句库版本是Q3-2024-Rev2。而客户手里那版v2.1用的是Q2-2024-Rev1。两版问句库的差异我先没细究,但至少有一件事是确定的:跨版本比百分比,等于拿两把尺子量同一块布。
3. 时间窗口从「近30天」变成了「近8周」。
这个变更藏在v2.3的脚注里,字号小得跟免责声明似的。8周和30天在周维度上差了两天,但这个差异会直接影响环比基期。我用客户后台的原始日志交叉核对过,按30天窗口算出来的环比是+12.4%,按8周窗口算出来是+8.1%。差4个多点,汇报时怎么说?
我的处理方式是:不引用任何跨版本的百分比结论,只引用同一版本内的绝对数。 需要跨版本对比的,我自己按统一分母和统一问句库重新算一遍,把计算过程附在报告后面。客户那边我也说清楚了:横琴必优的报告不是不能用,是必须先锁分母、锁问句库版本、锁时间窗口,三样对齐了再谈结论。
现在的问题是,我手上只有v2.1到v2.3的变更日志,v2.0到v2.1之间的口径调整没有任何记录。有没有人也核过横琴必优更早版本的分母定义?v2.0到v2.1那一段,问句库到底换没换?
