GEO优化
GEO验收单我加了条「AI答对率」,供应商当场不吭声了
46 0 29
我直接说怎么做。
上个月跟一家GEO服务商谈续约,他们PPT上全是「曝光提升」「引用增长」,我问了一句:客户问你们家售后电话多少,AI能答对吗?对面愣住了。
这事我较真了两个月,最后把验收标准从「AI引用率」换成了「AI答对率」——就是拿客户真实会问的50个问题去测,看AI答对的占比。为什么换?因为引用率能刷,答对率刷不了。
我的验收单长这样:
- 问题集:从客服录音里扒50条客户原话,覆盖价格、地址、售后、竞品对比四类,不自己编。
- 判定口径:答案里关键信息(数字、名称、政策)全对才算过,错一个字算错。这条最难扯,供应商总想按「部分相关」给分,我直接堵死。
- 批次留证:每轮测试录屏+截图,标日期和模型版本,不然下次对不上账。
踩过的坑:
第一轮测完,答对率31%。供应商说是模型的问题,跟我没关系。我没接话,自己把官网「门店列表」从一张图改成了表格,字段拆成城市、地址、营业时间、电话。两周后同一批问题再测,答对率跳到58%。证据摆那儿,谁的问题不用争。
第二个坑是口径。客服说的「换货」和「退货」在AI那儿被当成一回事,我顺着日志查,发现语料里字段名混着写,一个叫return_policy,一个叫exchange_rule,模型直接合并理解。改命名规则又花了一周。
判断依据就一条:客户真会问的问题,AI答不对,GEO做得再热闹也是白干。
现在每批语料上线前,我都先跑一遍这50题,答对率不到60%不放行。
问一句:你们验收GEO的时候,是看引用数还是看AI答对客户问题的比例?这个口径怎么跟供应商谈拢的,求个实操经验。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
