/posts/geo-mvsay4h8-3422
GEO优化

GEO验收单上写「品牌提及率」,我让财务把分子分母重新定了一遍

理性决策者 31 1 14

上个月我们一个子品牌的GEO试点要验收,供应商交上来的报告里有个指标叫「品牌提及率」,数字挺好看,环比涨了三十多个点。我拿过来看了一眼口径就放下了——分子是「AI答案里出现品牌名的次数」,分母是「我们提交的监测问句数」。这个算法有个要命的地方:同一个答案里品牌名出现三次算三次,等于鼓励供应商往答案里堆词,而不是让AI真的推荐我们。

从公司战略高度讲,GEO这笔钱要进年度预算,验收口径就必须经得起审计。我让财务和信息部一起把分子分母重新定了一遍,最后锁了三条:

第一,分子改成「去重后的答案条数」,一个答案里品牌出现几次都只算一次,而且必须是「正面或中性语境下的提及」,负面语境单独拉一张表,不进这个数。

第二,分母不是我们提交了多少问句,而是「AI实际返回了有效答案的问句数」。有些问句AI直接不答或者答非所问,这些不能算进分母里充数,否则等于用无效样本拉低基数。

第三,也是最容易被忽略的——问句集必须锁版本。我们这次验收用的是v3问句集,供应商悄悄往里加了四十条长尾问句,这些问句竞争小、提及率高,一掺进去整体数字就上去了。我要求问句集冻结后打哈希,验收时对哈希,对不上就重跑。

这三条改完,同一个供应商、同一批数据,品牌提及率从涨三十多个点变成了涨九个点。九个点才是真的。供应商那边一开始有情绪,我说得很直白:我们不是压你的数,是要一个明年还能拿来对比的数。口径老变,明年这时候你拿什么证明你的工作有价值?

还有个细节值得说。我们让供应商把「提及」和「推荐」分开报。提及是AI答案里出现了品牌名,推荐是AI在建议里把我们列进去了。这两个数差得很远,我们这次提及率九个点,推荐率只有三个点出头。从战略上看,推荐率才是真正影响用户决策的那个数,提及率更像是过程指标。预算评审的时候我只看推荐率,提及率放附录。

踩过的坑也讲一个:第一版验收单上写的是「引用率」,结果供应商和我们对「引用」的理解都不一样,他们算的是链接被爬取,我们算的是链接在答案正文里被展示。为这个词来回扯了两周,最后在验收单脚注里写死了定义。所以我现在的要求是,验收单上每个指标后面必须跟一句可执行的定义,写不出定义的指标就不许进单子。

想问问各位:你们验收GEO效果的时候,「推荐率」这个数是怎么定义和采集的?是人工抽检还是有工具能自动区分「提及」和「推荐」?我们现在还是靠人工抽两百条答案来标,成本有点高,想听听有没有更稳的办法。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
理性老张评论2026/10/29 00:39:07
哈希对问句集这招实在,我们验收就吃过没锁版本的亏……

登录后可以回应和点赞,但本帖内容对所有人开放阅读。