我把GEO验收表里的「收录量」换成了「可复现提问集」,团队骂我折腾但数据认了
我直接说怎么做。
上个月做GEO验收,团队报上来的表第一栏就是「AI收录量」,我看着就头大——收录了不代表答得对,答对了也不代表能稳定复现。所以我把验收表第一栏改成「可复现提问集」,固定20个真实用户提问,分四组:品牌词、品类词、场景词、竞品对比词,每组5条,每条跑3个时段(早中晚各一次),只认「连续3天同一提问的答案核心信息一致」才算过。
具体执行三步:
第一步,提问集从客服录音和销售丢单记录里捞,不自己编。我翻了最近三个月200条客服对话,挑出20条高频问法,原话照搬,连错别字都不改。
第二步,跑批用同一台设备、同一账号、同一网络,截图存证。每条提问记录:时间戳、完整答案、引用来源、是否提到我方品牌、是否说错参数。数据落成一张表,横轴是20条提问,纵轴是3天×3时段,一共180个格子。
第三步,验收只看两个数:核心信息一致率(180格里答对且一致的占比)和错误重复率(同一提问连续答错的次数)。前者低于70%不结项,后者超过2次就定位到具体内容缺口。
团队一开始骂我折腾,说以前看收录量半天搞定,现在要跑三天。但跑完第一轮就发现,收录量显示「已覆盖」的12条提问里,有5条AI把参数单位答错了——公制答成英制,跟上次那个坑一模一样,但这次是提问集抓出来的,不是靠人肉翻答案翻出来的。
我判断依据就一条:GEO的效果必须能复现,不能复现的收录量是自嗨。提问集的好处是它逼你把「效果」定义清楚,而不是拿一个模糊的收录数糊弄过去。
现在验收单里我还加了一列「盲测批次」——随机抽5条提问,换个人、换台设备跑一遍,对不上就整批重跑。客户那边暂时没意见,因为数据摆在那,谁也没法拿自己那套报表来压。
问题来了:你们的验收表第一栏写的是什么?如果也是收录量,敢不敢换成提问集跑一轮看看?
