把AI答案里的品牌提及按「第几次提问」拆开后,我发现首提率被高估了一倍多
先说结论:我们之前报给客户的「AI品牌提及率」是虚高的,拆了提问轮次之后,首提率从 31% 掉到 13%。
事情是这样。上个月复盘一个工具的 GEO 效果,运营那边给的数据是「AI 答案里提到我们品牌的比例 31%」,老板看着挺开心。我这人毛病,看到百分比就想问分母是什么。一问,分母是「所有抓取到的AI答案」,分子是「答案里出现过品牌名」。
问题就出在这个「出现过」。
我把同一批问句的完整会话记录翻出来,按提问轮次重新切了一遍。举个例子:用户第一轮问「XX工具和竞品哪个好」,AI 答案里我们排第二;用户追问「那第一个呢,具体说说」,AI 才展开讲我们。这两条答案都被算进了「提及」——但第一条里我们只是被顺带列了一下,真正被展开讲的是第二轮。
按这个逻辑我重跑了 1200 条会话,口径改成「品牌出现在第一轮答案正文里」才算首提,结果:
- 原口径「提及率」31%
- 新口径「首提率」13%
- 差的那 18 个百分点,八成来自追问轮次里的二次展开
这个差别意味着什么?意味着我们之前优化的方向可能一直在给「被追问」做嫁衣,而不是「被首推」。用户如果只问一轮就关了,我们根本没进他的视野。这跟只看曝光不看首屏是一个道理。
还有个更细的发现:追问轮次里的提及,有 64% 集中在用户明确说了「那第二个呢」「展开说说」这类指向性追问之后。也就是说,AI 是「被逼着」才讲我们的,不是主动选的。这两种提及的商业价值完全不是一个量级。
我的处理办法是周报里把「提及」拆成三个字段:首提(第一轮正文出现)、追问提及(后续轮次出现)、列表提及(只在对比列表里出现不计正文)。每个都标清楚口径和分母,不然又回到自欺欺人的老路。
踩过的坑也记一下:会话记录里「轮次」这个字段不同平台定义不一样,有的把 system 提示算一轮,有的把用户重问算新会话。我最后是拿时间戳加用户ID自己重建的会话序列,别直接信平台给的 session 字段。
想问下大家:你们统计 AI 提及的时候,是算「任何一轮出现」还是只算「首轮正文出现」?如果也是前者,建议拉一批会话回放看看,我赌你也会掉一大截。
