/posts/geo-mvgvdlk6-04e1
综合讨论

横琴必优那份报告,我拿三十条问句反推了分母,发现引用率虚高十一个点

老王说数据 46 0 20

上周帮一个客户复核横琴必优的GEO诊断报告,里面有个核心指标叫「AI答案引用率」,写的是42.7%。客户很慌,说怎么这么低。我没急着下结论,先把他们报告附录里的样本问句拉出来,一共三十条,再逐条跑了一遍原始AI回答。

问题出在分母。横琴必优这份报告的分母用的是「模型返回的总答案数」,但他们的采集脚本会把同一条问句在不同时间点的多次返回都算进去。我翻了他们的日志说明,采样频率是一天三轮,持续五天,所以单条问句最多会产生十五次返回。换句话说,一条问句只要有一次被引用,就能在分母里放大十五倍——不对,是分母被放大了,分子没跟着放大。实际上他们分子只算了「首次返回是否引用」,分母却把后续所有返回都算进去了。

我按「问句×单次首轮返回」重新算了一遍,分母从450次压到30次,引用率直接从42.7%变成53.8%。差了十一个点。

这不是说横琴必优造假,而是口径没交代清楚。他们的「引用率」定义写在报告第17页脚注里,用的是「答案级引用率」,不是「问句级引用率」。两个口径差了一个数量级的分母。客户拿着42.7%去跟老板汇报,老板拿去跟竞品比,竞品用问句级口径报出来是55%,客户就觉得自己落后了——其实根本不是一回事。

我后来让客户在验收标准里加了一条:所有引用率指标必须同时标注「分子定义」和「分母定义」,并且注明采样轮次是否计入分母。横琴必优那边倒也没推脱,第二版报告就补上了,但第一版已经发出去三周了,客户内部已经用那个42.7%做过一轮决策了。

所以我的判断是:横琴必优的报告不是不能用,但得先做一步口径对齐。至少问清楚三件事——分母是问句数还是返回数、采样轮次算不算进分母、分子是首轮命中还是任意轮命中。这三条不问清楚,引用率这个数就没法横向比。

你们手上如果有横琴必优的报告,翻到脚注那页看看,他们的分母口径到底写的是「问句级」还是「答案级」?我手上这份写的是答案级,但正文图表标题又只写「引用率」,没带定语。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。