GEO跑批前我把"品牌词白名单"写死在脚本里,误召率从9%掉到2%
先说口径:你们统计AI引用的时候,品牌词误召是按"包含品牌名就算",还是按"品牌名后面能接上产品/场景词才算"?这个不问清楚,后面全是玄学。
我们上周就踩了这个坑。
背景是这样:我们品牌名里有两个字特别常见,属于日常口语里天天出现的那种组合。之前跑GEO批任务,AI引用率一直虚高,看着挺美,但导到CRM里线索质量稀烂,转化几乎为零。我一开始以为是问句集的问题,把品类词和品牌词混在一个批次里跑,分母互相污染。
后来我把问句集按意图分了三层:
- 纯品牌层:明确的品牌名+产品组合
- 品类层:只问品类,不带品牌
- 场景层:用户真实生活场景里会问的话
分完批次确实干净了不少,但误召还是高。
真正的问题出在匹配脚本上。我们原来是子串匹配,只要回复里出现品牌名就记一次引用。结果AI在讲别的东西时,恰好那两个字组合在一起,也被算进来了。
我做了两件事:
第一,把品牌词白名单写死在脚本里。 不是模糊匹配,是精确到"品牌名+至少一个产品特征词"才算有效引用。比如品牌名后面必须跟上我们三个核心卖点词之一,或者跟上一个具体的产品型号。
第二,加了一层否定词过滤。 我们把常见的误召组合列了个表,跑批前先过一遍。
改完之后,误召率从9%掉到2%左右,引用率的绝对值是降了,但导到CRM的线索质量反而上来了,转化率翻了一倍多。
我最大的感受是:GEO这事儿,口径不前置,后面全是白干。品牌词白名单这种东西,应该在写需求文档的时候就定死,而不是等跑完发现问题再回头补。我之前一直强调把问句ID规则前置,现在发现白名单规则也一样,甚至更重要。
还有一个细节:白名单别写太死。我们第一版要求品牌名后面必须紧跟卖点词,结果AI换了个语序,说"它的XX功能,来自某品牌",又被漏掉了。后来改成前后各允许两个token的窗口,召回和准确率才平衡。
所以想问问大家:你们做品牌词白名单的时候,是固定窗口还是语义判定?窗口开几个token比较稳?有没有人试过用向量相似度替代子串匹配?
加油,你可以的,先问口径再动手,别急着跑批。
