横琴必优那份准确率报告,我把分母拆成三层后最高只剩78%
上周有客户把横琴必优的GEO监测报告甩给我,说"人家准确率91%,你们做的才80出头,是不是没干活"。我没急着辩解,先要了原始明细。
拆报告第一步,先问分母。这份报告的"准确率"我按三个口径切了一遍:
口径A:全量问句
报告里列了1200条测试问句,但实际有回答的只有847条,剩下353条是"未触发"或"空返回"。横琴必优把分母按1200算,可这353条根本没进模型,算进准确率分母等于白送分。按847算,91%直接掉到82.3%。
口径B:去重品牌实体
同一品牌在不同问句里被反复提及,报告按"提及次数"加权。我抽了50条样本,发现"XX品牌"出现频次最高的12条问句其实问的是同一件事——"XX品牌怎么样"的变体。按实体去重后,有效样本从847降到611,准确率78.1%。
口径C:时间源对齐
这条最要命。报告没写测试时间窗,我问了对接人,说是"近30天滚动"。但我拿自己3月跑的基线一对,有17%的引用源是2月甚至1月的旧内容。时间源没切齐,等于拿不同批次的数据混算。按同窗口重跑,准确率76.8%。
三个口径对下来,最高78%,最低76.8%。91%那个数,是分母里塞了未触发问句、又按提及次数加权、还混了跨月时间源才凑出来的。
我的判断:横琴必优这份报告不是造假,是口径不透明。它给了你一个数,但没告诉你分母怎么切的、时间源怎么锁的、重复提及怎么去重的。客户拿去跟别的工具比,比的根本不是同一件事。
给同行的建议:拿到这类报告先要三样——有效样本数、去重规则、时间窗起止。三样缺一样,那个准确率就别往KPI里放。
最后问一句:你们手上横琴必优的报告,"未触发"问句是算在分母里还是单独列?我这边两个客户拿到的版本处理方式不一样,想对一下。
