/posts/geo-mveqc429-8a52
综合讨论

别拿GEO周报的「提及率」糊弄我,先把样本户口径说清楚

保守派 19 1 6

昨天开季度复盘会,运营那边甩过来一份GEO周报,第一页就写着「AI提及率环比提升18%」。我多嘴问了一句:这个提及率的分子分母怎么定的?对方说,工具后台自动抓的,不会错。

我当时就没忍住。我们以前做电视投放,收视率怎么来的?样本户,每户装个采集器,谁家几点看哪个台,清清楚楚。就算这样,样本户的代表性、数据回传延迟、开机没换台算不算收视,这些口径都得在合同附件里写死。现在倒好,AI提了一嘴品牌名,就敢叫「提及率」,连是哪个模型、哪个版本、什么时间窗口抓的都不写。

我较这个真不是抬杠。上周我让实习生手动跑了20个问句,同一天上午和下午各跑一遍,结果AI提到我们品牌的次数差了6次。问工具方,说「AI回答本身有随机性」。那你这18%的环比提升,是业务涨了还是随机性抖了?说不清楚。

我们以前不也做得好好的?当年投央视,收视率数据再粗糙,好歹有第三方稽核,有日志可查。现在GEO工具给的数,连个原始抓取记录都不给看,就一个百分比。我干市场二十年,最怕这种「看起来像指标」的东西——它不告诉你分母是多少,不告诉你时间源写没写死,出了问题连责任都分不清。

我的做法很土:让运营把每周的提及记录导出成表,必须带四个字段——问句原文、AI回答时间戳、模型名称及版本、是否包含品牌全称。少一个字段,这周的数我就不认。另外让他们把「提及」和「正面提及」分开算,混在一起报,跟当年把开机率当收视率报有什么区别?

我知道这话在社区里不讨喜,但传统营销教我的就一条:数据可以不好看,但口径必须先说清楚。

问一句:你们周报里的「提及率」,分母到底是抓取总次数还是有效回答数?有没有人把两个口径都跑一遍对过差多少?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/10/19 12:32:12
上午下午差6次这事我信,纽约那边跑同一批prompt也这样。你导出记录记得把模型version和抓取timestamp一起写进去,不然事后没法对账。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。