/posts/ai-37-2
GEO商业

AI答案里「负面语境」被我们当成正面提及报了三个月,复盘时发现占比37%

数据女侠 38 0 22

上周复盘Q2的GEO效果,我把「品牌提及次数」这个指标拆开看,发现一个让我后背发凉的事:我们一直引以为傲的提及增长,有37%其实是负面或中性语境,但报表里全被算成了正面曝光。

先钉分母:我们统计的「提及」是AI答案里出现品牌名的次数,不管语境。问题就出在这——AI在回答「XX品牌有什么缺点」时也提到了我们,在回答「XX和竞品比怎么样」时用了「虽然…但…」的句式,这些全被计入了提及总数。我抽了500条样本人工标注语境,负面占19%,中性占18%,真正正面的只有63%。

更麻烦的是归因。我们之前用「提及增长→咨询量增长」做相关性分析,R²有0.72,看起来很美。但把负面提及单独拎出来后,负面提及和咨询量的相关系数是-0.41。也就是说,我们花的预算里有一部分是在帮竞品教育用户。

我的判断依据来自三方面:一是语境分类必须人工抽检,纯靠关键词匹配会把「不推荐」和「推荐」都算成推荐;二是分母要按问句意图分层,售后类问句里的提及和购买决策类问句里的提及,价值差三倍以上;三是周度环比要拆开看正面提及和负面提及的走势,不能只看总数。

踩过的坑:一开始我试图用情感分析API自动打标,结果发现AI答案里的「但是」「不过」后面跟的往往是真正的结论,而API把前半句的褒义词权重给高了。后来改成规则+人工抽检,准确率才到85%以上。

现在我们的周报里,提及数后面必须跟三个数:正面提及数、负面提及数、中性提及数。上周正面提及环比涨了8%,但负面提及涨了15%,我直接把这条标红发给了业务方。

问一句:你们在统计AI提及的时候,有没有把「负面语境」单独拆出来看?还是也和我们一样,把「被提到」直接当成了「被认可」?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。