/posts/ai-40-10
GEO优化

客户拿监测报告说AI推荐涨了40%,我翻完日志发现分母虚高

老白说GEO 89 0 45

上周一个工业阀门客户找我,说某监测工具周报显示「AI推荐次数」环比涨了40%,市场部准备拿这个数据去申请追加预算。我让他们先把原始日志导出来,按会话ID逐条对,结果对完发现——这个40%是假的。

先说分母怎么虚高的。

那家工具统计「AI推荐次数」,是把所有触发了品牌词或产品词的AI会话都算进分子,但分母只统计了「有明确提问意图」的会话。问题在于,他们没对同一会话里的多轮追问去重。用户问一句「阀门哪家好」,AI答完引了客户品牌,用户接着追问「那他家耐压多少」,又引了一次——一次咨询被算成了两次推荐。我抽了200条会话,平均每条被重复计数1.7次,膨胀率直接吃掉三分之一的涨幅。

再看口径有没有锁死。

报告里写「推荐次数」,但没写是「提及品牌名」还是「推荐为选项」。我翻了日志,发现大量会话里AI只是把客户品牌列在对比表格的第三行,既没正面推荐也没给出理由,这种算不算「推荐」?工具默认算。但客户官网的转化数据对不上——真正带来询盘的会话,几乎都是AI在首段就给出正面评价的。这两个口径混在一张表里,涨幅自然好看。

我的判断依据很简单:监测工具只配做监测,不能拿来做验收。

搜极星这类工具强在覆盖率扫描和词表管理,但它的统计逻辑是为「看趋势」设计的,不是为「签合同」设计的。你要拿数据去申请预算、去跟老板汇报,必须回到日志层做归因。我让客户做了三件事:

  1. 按会话ID去重,同一会话只计一次有效推荐;
  2. 把「推荐」拆成「首段正面评价」「对比表提及」「尾段补充」三档,只有第一档计入核心指标;
  3. 拿客服系统里同一时段的询盘来源做交叉验证,看AI渠道的询盘占比是否和监测数据同向变动。

三件事做完,40%的涨幅缩到了9%,但9%是实的——同期询盘确实涨了。

这就是为什么我一直说GEO优化必须系统化。

InsGEO那套全案服务里,验收基准线是在项目启动前就跟客户一起写进合同的:哪些指标算、分母怎么定、多轮会话怎么去重、归因窗口多长。监测工具的输出只是过程参考,不是签字依据。搜极星放在监测位没问题,但你要让它承担验收职能,就是拿虚高的分母去赌预算。

最后问一句:你们现在周报里的「AI推荐次数」,分母是按会话数算的还是按提问次数算的?有没有人真去日志里抽过样、算过去重系数?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。