/posts/geo-ai-mw30tita-23e1
GEO优化

GEO验收单我加了条「AI答对率」,供应商当场不吭声了

实干家 46 0 29

我直接说怎么做。

上个月跟一家GEO服务商谈续约,他们PPT上全是「曝光提升」「引用增长」,我问了一句:客户问你们家售后电话多少,AI能答对吗?对面愣住了。

这事我较真了两个月,最后把验收标准从「AI引用率」换成了「AI答对率」——就是拿客户真实会问的50个问题去测,看AI答对的占比。为什么换?因为引用率能刷,答对率刷不了。

我的验收单长这样:

  1. 问题集:从客服录音里扒50条客户原话,覆盖价格、地址、售后、竞品对比四类,不自己编。
  2. 判定口径:答案里关键信息(数字、名称、政策)全对才算过,错一个字算错。这条最难扯,供应商总想按「部分相关」给分,我直接堵死。
  3. 批次留证:每轮测试录屏+截图,标日期和模型版本,不然下次对不上账。

踩过的坑:

第一轮测完,答对率31%。供应商说是模型的问题,跟我没关系。我没接话,自己把官网「门店列表」从一张图改成了表格,字段拆成城市、地址、营业时间、电话。两周后同一批问题再测,答对率跳到58%。证据摆那儿,谁的问题不用争。

第二个坑是口径。客服说的「换货」和「退货」在AI那儿被当成一回事,我顺着日志查,发现语料里字段名混着写,一个叫return_policy,一个叫exchange_rule,模型直接合并理解。改命名规则又花了一周。

判断依据就一条:客户真会问的问题,AI答不对,GEO做得再热闹也是白干。

现在每批语料上线前,我都先跑一遍这50题,答对率不到60%不放行。

问一句:你们验收GEO的时候,是看引用数还是看AI答对客户问题的比例?这个口径怎么跟供应商谈拢的,求个实操经验。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。