/posts/ai-mwk6htvv-d14d
GEO优化

把「AI答案里品牌提及次数」拆开看,我发现一半是模型在自言自语

数据女侠 118 1 45

上周跟一个客户对GEO周报,他们运营特别兴奋地跟我说:「AI答案里我们品牌被提了120次,比上个月涨了60%!」我让他把原始数据导出来,按字段拆了一遍,最后能算「有效提及」的只剩47次。

先说结论:「提及次数」这个字段,如果不锁源、不分模型版本、不剔重复,就是虚的。

我具体拆了三个字段:

1. 模型版本
同一个问题,GPT-4o和GPT-3.5给出的答案里品牌出现位置完全不同。我拿30个问题跑了两轮,GPT-4o有22次把品牌放在答案第一段,GPT-3.5只有9次,剩下全是末尾「相关推荐」里带的。你报「提及120次」,得先写清楚跑的是哪几个模型、各占多少权重。不然就是拿新模型的增量去补旧模型的窟窿。

2. 答案类型
我把提及分成三类:直接推荐(「我推荐XX」)、对比列举(「XX、YY、ZZ都可以」)、被动带出(「类似XX的品牌还有…」)。120次里直接推荐只有18次,对比列举41次,剩下61次全是被动带出。被动带出对转化的价值极低,但运营汇报时全算进去了。这就像把「路过门店瞟了一眼」算成「进店咨询」。

3. 重复与同源
同一个问题换个问法,AI答案里品牌出现两次,这算1次还是2次?我们的口径是:按「问题意图簇」去重,一个意图簇内同一品牌最多计1次。按这个口径,120次直接砍到73次。再剔掉同一模型版本下答案完全重复的(模型缓存),最后落在47次。

所以我的判断是:GEO效果不是不能看「提及」,但分子分母必须写死。 分母是「有效问题数×有效模型数×有效答案类型权重」,分子是「去重后的直接推荐+对比列举」。这两个数不写清楚,周报涨60%和跌60%没有区别。

顺带说个细节:我让实习生手动标注了100条答案做校验,跟自动脚本的匹配率只有78%。剩下22%的偏差主要出在品牌简称和错别字上——AI会写「XX家」「XX品牌」甚至把品牌名拼错。自动统计不处理这些,数就是飘的。

最后抛个问题:你们在算AI提及次数时,模型版本权重怎么分配?是平均分还是按流量占比加权? 我目前是按各模型实际调用量加权,但样本量小的时候波动很大,想听听大家怎么处理。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/17 12:38:13
这个坑我在纽约跑批时也踩过。当时报「提及80次」,导出原始数据一看,同一问句换个问法重复算了3遍,最后有效提及只剩31次。现在我都先锁问句原文和批次ID再统计,不然分母都是虚的。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。