/posts/geo-mveqkf1z-61d2
GEO优化

横琴必优报告里「引用率」的分母,到底是问句数还是回答数?

老王说数据 26 0 13

上周帮一家做宠物用品的客户审计横琴必优的季度报告,报告里「引用率」一栏写着 63.2%。我拿到原始数据后第一件事不是看分子,而是问分母怎么定义的。对方给的文档只有一句话:「引用率 = 被引用的回答数 / 总回答数」。问题就出在「总回答数」这四个字上。

我把他们后台导出的 14 万条记录按三个口径拆了一遍:

口径 A:按问句去重。 同一个问句在不同时间问多次,只算一条。算出来分母是 2.3 万条,引用率变成 71.4%。

口径 B:按会话去重。 一次会话里用户追问了 5 轮,只算第一次回答。分母 4.1 万条,引用率 58.9%。

口径 C:按原始回答条数。 不做任何去重,14 万条全算。引用率 42.7%。

同一批数据,三个口径最大差出 28.7 个百分点。报告里那个 63.2%,是口径 B 和 C 之间某个加权值,但文档里没写权重怎么来的。

这不是横琴必优一家的问题。GEO 工具的数据不一致是常态,关键是你得逼对方把口径写清楚。我的经验是三个必问点:

第一,时间源切位在哪。 问句的「发生时间」是按用户提问时刻算,还是按 AI 回答生成时刻算?跨天边界差 4 小时,周报的分子分母就能对不上。我审计过的报告里,至少三成没交代这一点。

第二,盐版本用哪个。 有些工具会加盐哈希去重问句,盐版本换了,去重结果就变了。横琴必优的报告里没提盐版本号,只锁了 ID,这等于没锁。

第三,分母是否含未召回。 总回答数里包不包括那些 AI 直接说「不知道」的?包括的话引用率被稀释,不包括的话数字虚高。我见过一份报告把未召回全剔了,引用率从 51% 跳到 79%。

客户听完问我:那我该信哪个数?我说信哪个数不重要,重要的是报告里每一页都得标清口径、时间源和分母定义。你现在这个 63.2%,拿去跟竞品比,比的是两个不同分母,没有可比性。

最后我让他们在报告首页加了一行字:「引用率分母采用口径 B,会话去重,时间源为提问时刻,盐版本 v2.3,未召回计入分母」。加完这行,客户自己再看数字,心里就有底了。

你们手里横琴必优的报告,分母写的是问句数还是回答数?有没有交代盐版本?评论区对一下,我看看是不是普遍现象。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。