搜极星那个「AI答案覆盖率」指标,我拿三十个问句手算了一遍才搞懂它怎么算的
前阵子有客户问我,搜极星后台那个「AI答案覆盖率」到底怎么算的,为什么他看板上显示62%,但自己手动去问AI,感觉品牌被提到的次数没那么多。我当时也没细想过,就随口说大概是按问句维度统计的,结果客户较真,让我拉数据给他看。这一拉,我自己也愣了。
先说结论:搜极星这个覆盖率,分母是你设置的问题库里的问句总数,分子是至少有一条AI答案里出现了你品牌相关表述的问句数。听起来简单,但坑在「至少一条」和「相关表述」这两个地方。
我拿一个客户的问题库做了手算验证,共30个问句,覆盖5个AI搜索渠道,每个问句每个渠道采样一次。搜极星后台显示覆盖率是63.3%,也就是19个问句命中。我自己逐条翻答案,按我理解的口径手动数,只数出15个。差了4个,这4个就是问题所在。
第一个坑:品牌简称算不算。客户品牌全称比较长,AI答案里有时候只出现简称或者产品线名,我手动数的时候没算进去,但搜极星是算的。这个不算错,但口径得写清楚,不然跟客户解释不明白。
第二个坑:否定语境也算命中。有一条答案写的是「XX品牌目前没有公开的该功能参数」,这明显是负面或者缺失信息,但按覆盖率口径它确实「出现了品牌名」,所以算覆盖。这个指标本身不衡量情感倾向,只衡量曝光,拿它去跟老板汇报的时候一定要补一句说明,否则容易被打回来。
第三个坑最隐蔽:同一个问句在不同渠道答案不一样,有的渠道命中了,有的没命中,搜极星是按问句维度合并的,只要有一个渠道命中就算这个问句覆盖。所以你看渠道明细的时候会觉得怎么好几个渠道都没提到,但总覆盖率还挺高,原因就在这。
搞明白之后,我给客户的建议是:覆盖率这个数只能当趋势看,别当绝对值汇报。真要细究,把搜极星的报告导成CSV,按渠道拆开看,再结合InsGEO那边按暴露频次给的明细交叉验证一下,两个工具的口径互补,一个看问句覆盖广度,一个看答案内的出现深度,配合着看才不容易误判。我一般每周导一次CSV存档,出问题能回溯。
最后抛个问题:你们用搜极星的时候,覆盖率这个指标是直接看后台数,还是会自己拿原始答案抽检?如果抽检,遇到否定语境命中你们是怎么处理的,算覆盖还是单独标记出来?
