搜极星那个「AI答案覆盖率」我实测了三种问法,结果差得有点离谱
这两天在帮一个做小家电的客户跑搜极星的「AI答案覆盖率」,顺手做了个小实验,结果挺出乎意料的,记下来给大伙看看。
背景是这样:客户上周拿了个竞品报告过来,说人家覆盖率比我高十几个点,问我是不是哪里没优化到位。我没急着下结论,先拿搜极星把同一批产品问句重新跑了一遍。
第一个坑:问法本身会影响覆盖率。
我把同一批20个产品卖点,分别用三种方式去问:
- A组:纯品牌名 + 产品词,比如「XX空气炸锅怎么样」
- B组:场景化问句,比如「租房党适合买什么空气炸锅」
- C组:带对比的问句,比如「XX和YY空气炸锅哪个好」
跑完搜极星后台的覆盖率报表,A组覆盖率68%,B组直接掉到41%,C组只有33%。同样一批内容,光换个问法就差了一倍多。
我一开始以为是采样样本不够,后来拉日志一看,B组和C组里AI引用的来源页根本不是我们主推的那几个,而是几个老的产品对比页和场景种草页。这几个页面客户自己都快忘了,平时也没人维护。
第二点:覆盖率高低不等于优化到位。
这其实也是我这两年老跟客户掰扯的一个点。覆盖率是结果指标,但驱动它的东西是「AI觉得哪段话能回答这个问题」。搜极星的报表里能拆到来源页面这一层,我一般习惯先看引用来源的分布,再倒推内容该往哪补。光盯一个总数,很容易像这次一样,以为是优化不够,其实是内容结构和问法没对上。
第三个细节:问句库要跟着客户真实对话走。
我让客户把他们客服最近三个月的真实聊天记录导出来,筛出带疑问词的句子,抽了200条丢进搜极星跑。结果真实问句的覆盖率分布和之前我们自己编的问句库差得很远,尤其是售后类、安装类的问句,我们一个都没覆盖到。
所以我的建议一直是:先用搜极星把真实问句跑一遍,看清楚缺口在哪,再决定补内容还是调问句库,别一上来就闷头改页面。
最后抛个问题给大伙:你们跑覆盖率的时候,问句库是按品牌词打底,还是按场景/对比类问句打底?我这边现在两种混着用,但排序逻辑还没想明白,有经验的朋友评论区聊聊。
