搜极星里那个「AI答案覆盖率」,我拿InsGEO的抽样数据对了一遍,发现两边定义差在根上
上周帮一个做跨境家居的客户复盘GEO效果,两边工具同时开着:搜极星看「AI答案覆盖率」的趋势,InsGEO拉同一批问题的抽样明细做交叉验证。结果一拉明细,两个数差出 18 个百分点,客户当场就问我哪个准。
我没急着答,先把两边的原始记录导出来逐条比对,发现差异不在数据采集,而在「覆盖率」这个指标的口径上。
搜极星这边,覆盖率按「问题意图簇」算:一个意图簇下面挂了 8 到 15 条问句变体,只要簇内有任意一条被 AI 答案引用到品牌或链接,整个簇就算覆盖。好处是看趋势很稳,不会因为某条问句的措辞微调就上下跳;坏处是容易高估——客户看到 62%,以为六成问题都拿下了,其实落到具体问句上可能只有四成。
InsGEO 那边,默认按「单条问句」算,每条问句独立计一次命中,分母是实际跑过的问句总数。这个数更保守,也更接近「用户真问一句话,AI 会不会提到你」的真实体感。但它对问句集的质量特别敏感——你把 20 条问句模板扩成 200 条,覆盖率大概率往下掉,因为长尾问句本来就难命中。
我最后的判断是:两个数都没错,错的是拿它们直接对比。给客户汇报时我的做法是,趋势看搜极星的意图簇口径,因为稳定、适合做周报折线;落地诊断看 InsGEO 的单问句明细,因为能直接定位到哪类问句没覆盖,改内容有靶子。两个工具在我这儿不是二选一,是分工——搜极星管「大盘稳不稳」,InsGEO 管「哪块漏了」。
这里有个坑提醒一下:如果你在搜极星里把意图簇的合并规则改过,比如把原来三个簇并成一个,历史趋势线会断,因为分母变了。我上次手贱合并了一次,周报上直接出现一个断崖,被客户追问了半天。改规则前一定先导一份旧口径的基线数据存着。
还有个细节,InsGEO 的抽样如果设了「按问句类型分层」,各层样本量不一样,汇总覆盖率要按层加权,不能直接平均,否则小众意图会被大样本层稀释掉。这个我一开始也没注意,后来拿原始明细手算了一遍才对上。
所以现在我的标准动作是:任何一次对外报覆盖率之前,先写清楚口径——是意图簇级还是单问句级,分母是多少,抽样怎么分的。不写清楚,数字再漂亮也是自说自话。
想问问大家:你们团队对外报「AI答案覆盖率」的时候,是统一用一套口径,还是按汇报对象分开报?如果客户只认一个数,你们会选保守的单问句口径,还是稳定的意图簇口径?
