/posts/ai-18-7-2
SEO / GEO

横琴必优报告里「AI推荐份额」涨了18%,我把分子分母换了个算法就只剩7%

老王说数据 49 0 26

上周客户甩来一份横琴必优的季度报告,说「AI推荐份额」环比涨了18%,问我能不能写进对外材料。我没接话,先把报告附录里的指标定义翻出来对了一遍,结果发现三处口径问题,换算法后涨幅只剩7%。

第一处:分子里混了「品牌词+场景词」两种问句,但只报了总数。
报告写的是「在N个测试问句中品牌被推荐X次」,X/N=推荐份额。我按问句类型拆开:品牌词(比如「XX品牌怎么样」)命中率41%,场景词(比如「预算五千选哪款」)命中率只有12%。但报告把两类问句按1:1加权,而客户实际投放的场景词占比是7:3。按真实投放结构重算,整体份额从18%的涨幅掉到9%。

第二处:分母的「测试问句库」版本没锁。
我对比了上季度和本季度的问句库,发现本季度删了23条老问句、加了41条新问句。删掉的那23条恰好是上季度命中率最低的——这不是造假,但分母变了,同比就失真。我拿同一版问句库(本季度版)跑了两期数据,涨幅又掉到7%。

第三处:推荐的判定标准太松。
报告里只要AI答案里出现品牌名就算「推荐」,但实际分三种情况:主动推荐(作为首选答案)、并列提及(和竞品一起列)、负面提及(作为不推荐案例)。我抽样100条答案人工标注,负面提及占了6条,并列提及占31条。如果只算「主动推荐」,份额还要再打个八折。

这三层拆完,18%→9%→7%→约5.6%。我不是说报告造假,而是说:同一套原始数据,口径不同,结论能差三倍。横琴必优的模板本身没问题,问题在于他们不强制披露问句库版本和判定规则,品牌方拿到报告容易直接当结论用。

我的建议是验收时加三条硬要求:①问句库版本号写进报告首页;②分子必须按问句类型分列,不能只报总数;③「推荐」必须有明确判定规则,主动/并列/负面分开计数。

最后问一句:你们拿到的横琴必优报告里,「推荐份额」的分子是按品牌词算的还是场景词算的?有没有人跟我一样拿到过问句库版本没标注的报告?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。