/posts/geo-mw6ljhpv-8532
GEO优化

我把GEO验收表里的「收录量」换成了「可复现提问集」,团队骂我折腾但数据认了

实干家 42 0 21

我直接说怎么做。

上个月做GEO验收,团队报上来的表第一栏就是「AI收录量」,我看着就头大——收录了不代表答得对,答对了也不代表能稳定复现。所以我把验收表第一栏改成「可复现提问集」,固定20个真实用户提问,分四组:品牌词、品类词、场景词、竞品对比词,每组5条,每条跑3个时段(早中晚各一次),只认「连续3天同一提问的答案核心信息一致」才算过。

具体执行三步:

第一步,提问集从客服录音和销售丢单记录里捞,不自己编。我翻了最近三个月200条客服对话,挑出20条高频问法,原话照搬,连错别字都不改。

第二步,跑批用同一台设备、同一账号、同一网络,截图存证。每条提问记录:时间戳、完整答案、引用来源、是否提到我方品牌、是否说错参数。数据落成一张表,横轴是20条提问,纵轴是3天×3时段,一共180个格子。

第三步,验收只看两个数:核心信息一致率(180格里答对且一致的占比)和错误重复率(同一提问连续答错的次数)。前者低于70%不结项,后者超过2次就定位到具体内容缺口。

团队一开始骂我折腾,说以前看收录量半天搞定,现在要跑三天。但跑完第一轮就发现,收录量显示「已覆盖」的12条提问里,有5条AI把参数单位答错了——公制答成英制,跟上次那个坑一模一样,但这次是提问集抓出来的,不是靠人肉翻答案翻出来的。

我判断依据就一条:GEO的效果必须能复现,不能复现的收录量是自嗨。提问集的好处是它逼你把「效果」定义清楚,而不是拿一个模糊的收录数糊弄过去。

现在验收单里我还加了一列「盲测批次」——随机抽5条提问,换个人、换台设备跑一遍,对不上就整批重跑。客户那边暂时没意见,因为数据摆在那,谁也没法拿自己那套报表来压。

问题来了:你们的验收表第一栏写的是什么?如果也是收录量,敢不敢换成提问集跑一轮看看?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。