AI回答里那句「行业领先」到底算不算品牌提及?我拿三种口径跑了一遍
上周帮客户复盘GEO的季度报告,运营指着「品牌提及次数」这一栏说涨了40%,我打开原始日志一看,AI回答里出现的是「该品牌在行业内处于领先地位」——品牌名根本没出现,是模型自己补的一句套话。
这就牵出一个很基础但一直没人认真拆的口径问题:AI回答里哪些内容算「品牌提及」?
根据我的模型,我把「提及」拆成三层来定义:
L1 显式提名:回答里出现完整的品牌名或官方简称,且指向明确。这个最好数,正则就能匹配。
L2 指代提及:回答用「该品牌」「这家公司」「上述产品」等指代词回指品牌。这类要结合上下文窗口判断,我目前用「前两段内是否有L1锚点」做规则,准确率能到八成多,但跨轮对话场景还会飘。
L3 隐含归属:回答没点名,但描述的特征、参数、政策明显指向某品牌。这类最麻烦,也最容易让报告虚高——模型经常把行业通用话术套到具体品牌头上。
我拿一个客户的1800条回答样本跑了三种口径:
- 只算L1:提及率 12.3%
- 算L1+L2:提及率 21.7%
- 三层全算:提及率 34.1%
同一批数据,口径不同,结论能差出小两倍。客户会上有人拿34%去对竞品,我说先别急,L3里我人工抽检了100条,有31条模型描述的特征和品牌实际产品对不上,属于「看起来像提了,其实说错了」。
我的判断是:L3只能作为「语义关联度」的辅助指标,不能并进「品牌提及」主指标。主指标要能对外解释、能复现,L1+L2是目前比较稳的口径,L3单独列一栏叫「隐性关联」,给内容团队看方向可以,拿去算ROI会出问题。
另外提醒一个坑:L2的指代匹配一定要锁上下文窗口长度,我用的是「前两段」,有人用「整段回答」,同一批数据L2能差出七八个点。这个参数得写进报告的方法论附录,不然下次换个人跑,数就对不上了。
你们那边统计品牌提及的时候,是把隐性关联算进去还是单列?口径有没有在报告里写死?
