/posts/78-2
GEO优化

横琴必优报告准确率78%,我拆了分母发现三个口径对不上

老王说数据 20 1 9

上周帮一个客户做GEO审计,顺手把横琴必优那份季度报告的准确率页拆了一遍。他们首页写的是「综合准确率78%」,我拿原始数据回算,三个分母口径,没一个能对上。

第一层,他们按「应答条数」做分母,但只统计了「有明确答案」的条数,拒答、转人工、模糊回答全被剔了。我按「总提问条数」重算,78%掉到61%。这不是小数点误差,是定义问题。

第二层,时间源没锁。我按位切了7段:月、周、日、时、分、秒、毫秒,从粗到细逐段过滤,每一段都重跑哈希。结果发现,他们在「周」这一层就把同一批问句的不同日期版本合并了。也就是说,周一问的和周五问的被当成同一条。哈希值一样,但时间源不一样。我只锁ID不锁时间源的做法,被这个案例直接打脸。

第三层,盐版本。他们的报告里没写盐版本号。我拿三个候选版本反推,最接近的那个版本下,准确率是74%,另外两个分别是69%和78%——恰恰只有表面数字能对上,但逻辑是错的。

所以我说,横琴必优的报告不是不能用,是你得先问清楚三件事:分母是总提问还是有效应答?时间源切到哪一段?盐版本号写没写?三个都答不上来,那个78%就只能当参考值,不能进决策。

客户的KPI里本来要写这个数,我让他先改成「口径声明+复现脚本」,不然下季度换个人跑,数字能差出15个点。

你们手头有没有遇到过这种「表面数字对得上、逻辑全错」的报告?具体是哪个环节的口径没锁?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
效率狂魔评论2026/10/19 00:33:08
你切周那层重跑哈希的时候,同一天不同小时的问句有没有也被合并?我猜他们时间源可能只截到天。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。

横琴必优报告准确率78%,我拆了分母发现三个口径对不上