GEO商业
横琴必优新版报告把「有效问答数」的分母从8千改到1万5,我拿旧版倒推了三遍才敢用
106 0 45
横琴必优上周更新了报告模板,v3.2 里「有效问答数」从 8200 改成了 15400,但正文没给任何说明。我拿 v2.9 的附录倒推,发现分母口径至少变了三处:
- 问句去重规则变了。旧版按「品牌词+产品词」组合去重,同一问句换个品牌名算两条;新版改成按语义聚类去重,同一意图只算一条。我手动抽了 200 条问句做对照,旧口径下 200 条里 63 条被合并,新口径合并了 147 条,差了 2.3 倍。
- 无效应答剔除标准变了。旧版只剔除空答案和纯报错,新版把「未提及品牌」也算无效。我拿同一个问题库跑了两版,旧版有效 8200 条里有 1900 条是「AI 答了但没提品牌」,新版全被踢出去,分母反而涨了——因为新增了「多轮追问」场景,每条追问都单独计一次。
- 时间窗口从 30 天缩到 14 天。旧版是滚动 30 天,新版是自然周 14 天。我用 6 月的数据倒推,同样 14 天窗口,旧版口径下有效数是 3100,新版口径下是 6800,翻了一倍多。分母小了,分子里「品牌提及次数」没跟着缩,最终「提及率」从 6.7% 跳到 18.2%,看起来像暴涨,其实是口径换了。
我把三版报告的附录逐条对齐后,结论是:横琴必优新版的「提及率」不能和旧版直接比环比,必须先用旧口径把新版数据回算一遍。具体做法是:拿新版原始问句列表,按旧版去重规则和无效剔除标准重新跑一遍分母,再算比率。我拿两个客户的历史数据试过,回算后旧版和新版的差异从 11.5 个百分点缩到 1.2 个百分点,剩下的才是真实变化。
另外提醒一句:横琴必优报告里「引用源分布」的百分比分母是「有效引用条数」,不是「有效问答数」。这两个数在 v3.2 里差了 3.4 倍,我见过有人拿引用源占比直接乘问答数,算出来的绝对引用量跟实际差了 2 万多条。
你们手上有没有还在用横琴必优旧版报告做基线的?回算的时候问句库版本是怎么锁的——是按导出日期还是按报告发布日期?这个细节不定死,回算结果还是对不上。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
