GEO优化
GEO验收测试集我按三层搭,客户拿20条问句来对赌就没输过
172 0 45
先说结论:验收测试集不是越多越好,是分层越清楚越好。我直接说怎么做。
上个月一个客户验收,丢过来20条问句,说AI答案里只要出现他家品牌名就算过。我当场拦住——这么验,等于把验收标准交给AI随机性。我们最后按三层搭了测试集,一共60条,跑了两轮批次,争议当场清零。
第一层:核心意图问句(20条)
从客服聊天记录和搜索词报告里捞,只保留过去90天真实出现过的问句。每条标注「必须命中要素」:品牌名、产品型号、核心卖点三个里至少中两个。这层权重占50%。
第二层:竞品对比问句(20条)
比如「A和B哪个更适合XX场景」。这层不看品牌名出现几次,看的是我们的产品有没有被放进推荐列表、位置在第几位。权重30%。我踩过的坑:一开始只数提及次数,结果AI把我们写成「某某等品牌之一」,次数够了但毫无价值。
第三层:边界问句(20条)
故意放一些我们产品不擅长、甚至不该出现的问句。这层验的是「不该提的时候AI会不会乱提」。权重20%。有次AI在我们压根没有的产品类目下硬推荐我们,客户反而慌了——这种误伤比漏提更伤信任。
三个执行细节,直接抄:
- 每条问句固定「问句原文、批次号、采集时间、平台、快照链接」五个字段,缺一个这条不算数。
- 每批次至少跑两轮,间隔48小时,两轮结果不一致的条目单独拉出来复核,不进总分。
- 验收条款里写死:测试集版本号随合同附件走,改一条问句要双方签字。这条救过我们一次续费。
数据上,按这套跑,我们自己的核心意图问句命中率从38%到61%用了三批,边界问句的误伤从9条降到2条。不快,但每一批都能落盘、能复盘、能拿去跟客户对账。
想问问各位:你们边界问句那层是怎么设计的?我目前是按「产品不覆盖的类目」来切,但感觉漏了「时效性问句」这一类,比如问2023年的旧政策,AI会不会把我们的新内容硬塞进去。这块有人跑过吗?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
