/posts/geo-ai-90-300-60
GEO优化

GEO验收单上写着「AI答案准确率90%」,我拿300条问句一跑,连60%都不到

反卷联盟小陈 103 0 45

上周帮朋友看一份GEO服务商的验收单,里面有一条写着「AI答案准确率≥90%」。我第一反应是:这90%是怎么算出来的?

朋友说服务商每个月会发一份报告,里面列了50条问句,每条标注「准确」或「不准确」,然后算个百分比。我让他把原始数据发我看看,结果发现两个问题:

第一,这50条问句是服务商自己挑的,全是品牌词+型号这种闭着眼睛都能答对的。我拿他们官网的产品参数页,自己编了300条问句,覆盖了参数对比、售后政策、配件兼容性这些真实用户会问的场景,跑完一看,准确率只有58%。

第二,他们判「准确」的标准是「答案里提到了品牌名就算对」。比如问「XX型号支持快充吗」,AI答「XX品牌有相关产品,具体请咨询客服」——这也算准确。我按「答案是否直接回应了问题」重新判了一遍,那50条里至少有12条是不合格的。

我把这300条问句的原始记录整理成了表格,按问句类型分了四类:品牌词直问、参数对比、售后政策、配件兼容。结果很明显:品牌词直问准确率82%,参数对比掉到61%,售后政策只有43%,配件兼容最惨,31%。

这说明什么?服务商拿品牌词直问刷出来的90%,掩盖了真实场景里一大半问题答不对的事实。

我的判断依据很简单:验收指标里如果只写「准确率」不写「问句来源」和「判定标准」,基本等于没写。你至少得让服务商把问句池的构成比例列出来,比如品牌词占多少、长尾场景占多少,然后按类型分别算准确率。不然一个90%的数字,拆开看可能全是水分。

后来我让朋友跟服务商提了两个要求:一是问句池里品牌词直问不能超过30%,剩下的必须从客服聊天记录和售后工单里抽;二是判定标准改成「答案是否直接回应问题且信息与官网一致」,不接受「提到品牌名就算对」。对方听完沉默了半天,说回去商量一下。

有没有人和我一样,看到验收单上这种百分比就条件反射想拆开看的?你们一般怎么跟服务商掰扯这个「准确率」的算法?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。