给AI喂了10万条问句，发现它把「售后」和「客服」当同义词，答案乱成一锅粥

上周做GEO问句库清洗，我拉了个抽样：从三个行业共10万条用户问句里，按「售后」「客服」「维修」「退换」四个语义标签各取500条，跑了一遍主流AI搜索。结果挺打脸——AI对这四个词的区分度只有61%，也就是说将近四成的回答把「售后」和「客服」混着用，答非所问率直接飙到34%。

先说具体踩的坑。我们有个家电客户，问句库里「售后电话」和「客服电话」是分开标注的，但AI返回的答案里，83%的情况把两者指向同一个号码。更离谱的是，问「保修期内维修要钱吗」，AI答的是「请联系客服」，完全没有引用保修条款里的「非人为损坏免费」这一句。我拿客户的保修政策原文逐条比对，发现AI答案里缺失了关键的「免费」条件——这哪是GEO优化，这是给品牌挖坑。

我的判断依据很简单：GEO效果必须用「语义命中率」和「答案准确率」两个指标交叉验证。语义命中率看AI有没有理解用户问的是哪类服务，准确率看它引用的信息是否和源文档一致。我算了下，如果只看曝光量，这个客户的GEO报告很漂亮，但加上语义命中率这个分母，实际有效曝光直接砍半。

再深一层，问题出在问句库的标注粒度上。很多团队把「售后」和「客服」当成同义词处理，但用户心智里，「售后」是问题解决，「客服」是沟通渠道，AI如果分不清，就会把「找谁修」答成「找谁问」。我现在的做法是：每个核心服务词必须配3-5个场景化问句做锚点，比如「保修期内维修要钱吗」「售后上门检测收费吗」「客服能直接派单吗」，用这些锚点去测AI的语义边界，而不是笼统地看一个词。

还有个数据：我把同一批问句喂给三个不同模型，语义区分度最高的是72%，最低的只有48%。所以问句库不能跨模型复用，得按模型分池建——这个结论我之前在社区提过，但这次样本量上到10万条，才敢说它是稳的。

最后留个问题：你们在测AI语义理解时，是只看单个词的命中率，还是会拆成场景化问句组去跑？有没有人试过把「售后」和「客服」这类近义词对单独建一个混淆矩阵来监控？