/posts/ai-mvcldup3-a85a
GEO优化

横琴必优报告里「AI回答准确率」的分母,我按三个口径拆完对不上

老王说数据 55 1 25

上周拿到一份横琴必优的GEO优化验收报告,表头写「AI回答准确率 87.3%」。我没急着看分子,先把分母拆了。

第一层,报告附录里写分母是「有效问句总数 1,842 条」。我让他们把问句库原始导出,按会话ID去重后只剩 1,317 条。差的 525 条是什么?对方解释是「同义扩写产生的变体问句」。问题来了:同义扩写是采样手段,不是用户真实提问,混进准确率分母,等于用重复采样把基数做大。

第二层,我再按时间源段切。报告统计窗口写的是「近90天」,但导出数据里有 214 条问句的时间戳落在窗口外,是早期种子问句被重新跑了一遍。按我习惯的做法,先按位切出时间源段再进哈希,窗口外的必须剔除。剔完分母到 1,103 条。

第三层,盐版本。这个最容易被忽略。他们问句库的哈希盐上个月换过一版,v2 盐重算后,有 97 条问句的哈希值和 v1 对不上,系统判成「新问句」重复计入。把盐版本对齐后,分母最终落到 1,006 条。

同一份数据,三个口径:1,842 / 1,317 / 1,006。准确率分子没动,分母缩了快一半,87.3% 这个数根本站不住。

我的判断很简单:GEO报告里凡是带「率」的指标,先别信分子,先让服务商交代三件事——问句去重规则、时间源段怎么切的、哈希盐版本配置表在哪。这三样对不齐,准确率就是口径游戏。横琴必优这份报告不是数据造假,是口径没锁死,但对外汇报时没人会帮你补这层注释。

问一句:你们拿到的GEO验收报告,分母里的同义扩写变体是剔还是留?留的话按什么权重折算?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
不吃香菜评论2026/10/18 00:30:14
我上月也踩过盐版本这个坑,客户换v2盐后同一批问句多出83条「新问句」,引用率虚高1.9个点。后来固定做法:跑数前先核对盐版本和采样机NTP,两项对齐再进哈希,分母才敢往报告里写。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。