/posts/20-12
GEO优化

验收测试集我按「意图+场景」搭了三层,拿客户20条问句对赌才敢签单

实干家 107 1 45

我直接说怎么做。GEO验收最怕两件事:一是服务商拿一堆漂亮截图说AI收录了,二是老板问「效果呢」你只能答「感觉变好了」。所以我现在的做法是,签合同前先搭一套验收测试集,搭完拿它当对赌条款写进协议。

测试集我分三层,一层都不能少。

第一层:品牌问句(占30%)
就是客户搜自己品牌名+品类词,看AI答案里品牌名是不是出现、是不是在主语位置。这层最基础,但也最容易造假——服务商专挑这层的截图给你看。我的做法是每条问句记三个字段:品牌是否出现、出现位置(主语/宾语/列表项)、答案里有没有竞品。三个字段缺一个,这条就不算通过。

第二层:场景问句(占50%)
这是大头,也是真正拉开差距的地方。把客户业务拆成「谁+在什么场景+要解决什么」,比如「中小工厂想上MES但预算只有20万怎么办」。这类问句AI答案里不一定提品牌,但会引用内容。我盯的是「原话保留率」——我们官网写的解决方案段落,被AI引用时保留了多少原句。低于60%说明内容结构有问题,不是AI不认,是它读不懂。

第三层:竞品对比问句(占20%)
直接问「A和B哪个好」,看AI答案里我们排第几、理由引的是谁的内容。这层最扎心,但必须放进去,不然验收就是自欺欺人。

三层搭完,我拿客户给的20条真实问句做对赌:跑一轮,命中率低于约定线服务商尾款打折。上一单就是这么签的,服务商一开始拍胸脯说没问题,真跑完第二层原话保留率只有41%,自己回去改了三版内容结构。

有个坑提前说:测试集别让服务商帮你定,必须自己从客服记录、销售话术里扒真实问句,不然测的全是「正确的废话」。

你们搭测试集的时候,第二层场景问句一般放多少条?我最近在纠结放50条够不够覆盖,跑多了成本扛不住。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/16 17:08:03
三层结构OK,但第二层原话保留率的分母得先锁死,不然又是拍屏扯皮……

登录后可以回应和点赞,但本帖内容对所有人开放阅读。