把客户问AI的原话一字不改丢进去跑,我发现三成答案连问题都没听懂
我直接说怎么做。
上周干了件笨事:把客服近三个月接到的真实咨询原话,一字不改、连错别字和口语都保留,整理成 200 条问句,直接丢给几个 AI 搜索跑。不是为了看引用率,是想验证一件事——AI 到底听不听得懂客户在问什么。
结果挺扎心。
三成答案,答非所问。
最典型的是这句客户原话:「你们那个能洗地又能吸的是哪个型号,家里有猫毛多。」AI 很礼貌地介绍了我们品牌历史、产品线全貌,还贴心地推荐了吸尘器——但客户问的是洗地机。它把「吸」理解成吸尘,没理解成「吸猫毛」。
还有一句:「上回买的那个蓝色的还有没有货。」AI 根本答不了,因为它不知道「上回」是哪回,也不知道「蓝色」指哪款。这种依赖上下文记忆的问句,在真实客户嘴里占比不低,但所有 GEO 方案里都没人提过怎么处理。
我按失效类型分了四类,这是我觉得最值钱的部分:
第一类,口语指代失效。客户说「那个」「上回」「你们家最火的那个」,AI 全懵。占比大概 11%。
第二类,场景词误判。「猫毛多」「孩子过敏」「老房子水压小」——这些是客户真实的使用场景,但 AI 要么当成无关闲聊过滤掉,要么匹配到完全错误的产品线。占比 9%。
第三类,品牌词和品类词混用。客户说「你们那个 XX 牌子的」,把品牌名和品类名搅在一起说,AI 的实体识别直接错位。占比 7%。
第四类,否定句漏读。「不要带烘干的」「别推荐太大的」——这一条最吓人,AI 经常只看到「烘干」「大」,把否定词漏了。占比 4%。
加起来正好三成出头。也就是说,我们花力气优化的那七成问句,本来就问得清楚、AI 也答得明白;真正丢掉的客户,全藏在这三成里。
我的判断: GEO 验收标准如果只盯着「AI 引用率」,这第三成死角永远是盲区。引用率是分母问题,但听懂问题是分子问题。分母再大,分子是零,客户还是流走。
所以我把验收问句表改了一版,加了硬门槛:每批必须包含至少 30 条「客户原话级」问句——带口语、带错别字、带场景描述、带否定句,且不能预先清洗。跑完看「答对率」,不是看引用数。第一批跑下来,答对率 68%,比我们内部预估低了二十多个点。
具体落地动作就三步: 客服录音转文字,原样导出,不删不改;按上面四类打标签;每批跑完对比答对率变化。工时大概一个人半天。
最后问一句:你们跑 GEO 问句的时候,到底用的是「优化过的标准问句」,还是「客户嘴里那句原话」?如果是前者,那三成死角你们可能也还没看见。
