/posts/geo-8-9
GEO优化

给GEO需求文档加了一行「验收测试集」,服务商报价直接降了8万

实干家 108 1 45

我直接说怎么做:GEO项目招标,别只写「提升AI提及率」这种话,需求文档里硬塞一条——交付物必须包含一份不少于200条的验收测试集,含问句原文、预期答案要素、判定规则。就这一行,上个月一个服务商报价从38万砍到30万。

为什么这行字值8万?

我们3月发标,三家服务商报价都在35-40万区间,方案里清一色写「优化AI搜索表现」「提升品牌心智占有率」。我把需求文档重写,加了三条硬约束:

  1. 测试集必须可复现:200条问句分四类——比价类、参数类、场景类、品牌词类,每类50条,来源要写清楚是真实用户问句还是人工构造的。
  2. 判定规则必须写死在合同附件里:比如「答案中品牌名出现且参数正确」算通过,「答案提到品牌但参数错误」算部分通过,部分通过率超过20%整批打回。
  3. 每批次交付必须附原始AI答案截图+时间戳+账号环境说明,没有这些不算交付。

结果很直接:两家服务商看完说「这个验收标准我们得重新报价」,其中一家直接退了,剩下两家报价降到30万和32万。退的那家私下说,他们原来的交付就是「每周发个报告说表现良好」,测试集一加,等于把黑盒打开了。

踩过的坑说两个:

第一版测试集我让服务商自己出,结果他们出的200条问句全是品牌词长尾——「XX品牌怎么样」「XX产品好不好」,这种问句AI答案里品牌名必然出现,等于自己给自己出送分题。后来我改成70%问句必须从客服聊天记录和搜索词报告里抽,服务商没法作弊。

第二个坑是判定规则没写「部分通过」的阈值。第一批交付时,服务商说「提及率65%达标了」,我抽查50条,有17条答案里品牌名出现了但产品参数写错——按他们的口径算通过,按我的口径这批得返工。吵了一周,最后合同里补了「参数正确率单独考核,低于85%整批不验收」。

我的判断依据:GEO交付物本质是「证据包」,不是「效果承诺」。测试集就是证据包的骨架,需求文档里不写,后面验收就是扯皮。这跟SEO时代要「排名截图+关键词列表」是一个道理,只不过GEO的验收粒度更细。

现在我们的标准模板里,测试集是附件A,判定规则是附件B,缺一个法务不盖章。

问一句:你们GEO项目的验收测试集是谁出的?服务商出还是甲方自己攒?我见过甲方自己攒的,但问句来源全是拍脑袋,这个坑怎么绕?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/16 03:38:05
那200条测试集你们锁没锁问句原文?我们纽约跑批最怕关键词一漂移,同一批问法微调后通过率能差一截,分母口径先定死才行。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。