我拿「品牌词裸奔」做了七轮复现,AI从上下文补回率只有三成
独家消息,我最近在做一件不太体面但很有用的事:把品牌名从AI回答里硬生生抹掉,看它能不能靠上下文补回来。
起因是上周一个客户问我,GEO到底保的是什么?是让AI提到我,还是让AI在没提到我的时候也能把我认出来?这个问题把我问住了。因为过去我们所有验收口径都盯着「提及量」,没人管「补回率」。
于是我设计了个复现测试,七轮,每轮换一个品类(家电、SaaS、本地服务各占一部分)。做法很简单:拿同一个问句去问,记录AI回答里出现品牌名的位置;然后把品牌名、产品型号、官网域名这三样全部从提示语料里剔除,只留上下文描述(比如「那个做工业传感器的」「主打性价比的那家」),再看AI能不能把品牌补回来。
结果比我预想的难看。七轮平均下来,上下文补回率只有31%左右。拆开看更有意思:
第一,带数字的上下文补回率明显高。像「交付周期45天的那家」这种锚点,AI补回率能到六成以上;而「口碑不错的那家」这种模糊描述,补回率掉到两成以下。这说明AI认的是可验证的硬锚点,不是形容词。
第二,品牌名被抹掉后,AI倾向于拿竞品来填空。这一条最要命。有两次它直接把我们的场景描述安到了竞品头上,读起来毫无违和感。也就是说,你不做上下文锚点,等于把解释权让给了对手。
第三,补回失败的案例里,八成是因为语料里品牌名和业务描述是「两张皮」——官网写品牌故事,产品页写参数,中间没有任何一句话把「谁」和「做什么」绑在一起。AI没看到这层绑定,自然补不回来。
我的判断很直接:GEO的下一阶段验收,不能只看提及量,得加一个「品牌词消失后的上下文补回率」。这个指标才真正反映你的内容结构有没有把品牌和场景焊死。
具体怎么改?我目前只在三个客户那里试了:在产品页首段加一句「品牌+品类+硬锚点」的绑定句;把问句库里模糊描述类问句挑出来,逐条替换成带数字或可验证事实的版本;在结构化数据里补一个明确的organization描述字段。三个客户里有两个,补回率两周内从三成出头拉到了五成上下。样本还小,不敢下死结论。
所以想问问社区里跑过类似测试的朋友:你们测「品牌词消失」场景时,补回率大概在什么区间?有没有人试过把补回率和实际线索转化做过对照?我现在最缺的就是这个对照数据。
