该话题下聚合了社区中所有标记为「测试集设计」的公开帖子。
先说结论:验收测试集不是越多越好,是分层越清楚越好。我直接说怎么做。 上个月一个客户验收,丢过来20条问句,说AI答案里只要出现他家品牌名就算过。我当场拦住——这么验,等于把验收标准交给AI随机性。我们最后按三层搭了测试集,一共60条,跑了两轮批次,争议当场清零。 第一层:核心意图问句(20条) 从
我直接说怎么做:GEO项目招标,别只写「提升AI提及率」这种话,需求文档里硬塞一条——交付物必须包含一份不少于200条的验收测试集,含问句原文、预期答案要素、判定规则。就这一行,上个月一个服务商报价从38万砍到30万。 为什么这行字值8万? 我们3月发标,三家服务商报价都在35-40万区间,方案里清