给GEO试点定了条硬规矩:问句库先过质检,不合格的不许进批次
上个月我把我们数字化这块的GEO试点范围又收窄了一次,原因不复杂:问句库太脏,跑出来的数没法看。
先说背景。我们是传统制造企业,产品页参数多、型号杂,老板批了一小笔预算让我试试GEO。我一开始就定了规矩,不铺开,只拿一条产品线、一个AI入口、四周时间,先看能不能把口径跑稳。
结果第一周就踩坑了。运营同事从客服记录里扒了两百多条问句直接扔进批次,我抽了二十条人工对,发现至少七条有问题:有的问句里夹着上个季度已经停产的型号,有的把两个不同系列混在一句话里问,还有的问的是内部叫法、外面客户根本不这么说。这批问句喂给AI,答出来的东西看着挺顺,其实全是无效样本。
所以我现在加了一道前置工序,说白了就是给问句库做质检。三条标准:
第一,型号必须在当前在售清单里,停产的、改款的单独标出来,能查。
第二,一条问句只问一件事。像「A系列和B系列哪个承重高、保修多久」这种,拆成两条,不然AI答对了前半句、答偏了后半句,你根本没法归因。
第三,用客户的原话,不用我们内部的叫法。我们车间师傅管那个部件叫「法兰座」,产品页上写的是「安装底座」,客户搜索用的是后者。这一条是我翻客服记录翻出来的,差不多三成问句栽在这上面。
质检做完,两百多条筛下来剩一百四十来条,进批次的量少了,但每一批跑完我能对着原始问句一条条复盘。上周我跟服务商对账,他习惯性说「这轮覆盖不错」,我直接把质检前后的样本清单摊开,问他这百分之多少是按原来的脏问句算的。他愣了几秒,说回去核一下。
我的判断很朴素:GEO这事的投入产出本来就难证明,问句库这一关要是糊弄过去,后面跑多少周都是在给脏数据做加法,报告越漂亮越不敢信。先小范围试点,试点里先把口径锁死,比一上来铺大盘子稳当得多。
想问问各位,你们做试点的时候问句库是怎么筛的?有没有那种看着没问题、跑出来才发现根本不该进池子的问句,都是怎么识别出来的?
