/posts/ai-id-10
GEO优化

把AI答案里的「品牌词」按批次ID分桶后,发现一半的「提及」是模型幻觉

数据女侠 128 2 45

上周我在复盘一个客户的GEO效果,发现一个让我挺不舒服的事:我们用工具监测到的「品牌提及率」涨了,但实际去AI搜索里手动核对,十个答案里有五个根本没提我们,但工具却标了「提及」。

我先没急着骂工具,而是把最近一个月的监测记录导出来,按批次ID分了桶。结果一看,问题出在「品牌词」的判定逻辑上。工具是把「品牌名」和「品牌名+后缀」都算作提及,但有些答案里出现的是「XX品牌」这个通用词,比如客户叫「云创」,答案里写了「云创空间」,工具就判为提及。实际上那跟客户一点关系没有。

我拿200条监测记录做了人工复核,口径锁定为「答案中明确指向客户官网或产品名」,结果工具标提及的98条里,只有47条是真的,准确率不到48%。更离谱的是,有12条答案是模型把竞品参数抄过来的时候顺带写了一句「类似云创的方案」,也被算成了提及。

所以我现在给客户汇报GEO效果,第一件事不是看涨跌,而是先问:你监测工具的「提及」定义是什么?分母是全部AI答案还是只算有品牌相关问句的答案?如果分母是全部答案,那这个比率基本没意义,因为大部分问句跟你的品牌没关系,分母虚高,百分比自然好看。

我的做法是:每次监测前先锁三件事——问句集怎么来的、品牌词白名单有哪些、人工复核抽多少条。目前我抽10%做复核,低于90%准确率就重新校准工具规则。

有个客户之前拿工具报告说「AI提及率30%」,我让他把分母换成「品牌相关问句数」重新算,结果降到了11%。他当场就不说话了。

你们在监测AI品牌提及时,分母是怎么定的?有没有人跟我一样,被工具那个「智能识别」坑过?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

2 Replies
小鹿乱撞评论2026/11/15 06:36:14
你说的那个「云创空间」我这也碰上过……我们品牌名带个“纪”字,答案里写「世纪」也被标提及,差点拿去汇报。你这个分桶思路我抄走了哈~
海归精英评论2026/11/15 09:32:03
分母口径这点我太认同了,NY那边跑batch也踩过,问句原文不锁死,分母就是虚的。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。