给AI问句库做减法:我砍掉七成跑量问句后,首提率反而稳了
上个月我把客户GEO项目的问句库从4200条砍到1260条,团队小娃儿说我疯了,说样本量不够跑不出趋势。结果跑了两周,品牌首提率从原来的18%波动区间收窄到±2个点,之前是±7个点上下窜。今天摆一哈这个事。
先说为啥子要砍。
原来那个问句库是照着关键词工具批量扩的,啥子「XX设备哪家好」「XX设备厂家排名」「XX设备价格多少」……4200条里我抽样看了200条,真正像人问的不到三成。剩下七成全是一个模子刻出来的长尾变体,AI那边采样的时候根本不会覆盖到,等于白跑。
更恼火的是,跑量越大,噪声越大。同一批问句上午跑和下午跑首提率能差十几个点,我一开始以为是索引刷新窗口的问题,后来把低质量问句剔掉重跑,波动直接小了一半。说明啥子?说明之前那个波动里头,很大一部分是垃圾问句贡献的随机性。
我的筛选标准,三条。
第一条,问句里得有「信息可得性」信号。啥意思?就是这个问题,AI去网上找,能不能找到明确答案。比如「XX设备防爆等级是多少」,这种有标准答案的,留下;「XX设备好不好用」,这种主观的,砍掉——AI答这种全靠猜,测了也白测。
第二条,问句得能对应到我们语料库里有的内容块。语料里没得的东西,问了也是空跑。我拿语料目录跟问句库做了个映射,对不上的先挂起,不删但也不计入跑量。
第三条,一个意图最多留五个变体。原来「价格」这一个意图扩了三百多条,现在留五条,覆盖问法差异就够了。
砍完之后的变化。
1260条跑一周,人工抽检了80条AI回答,品牌名出现在前三句的有31条,准确率比之前抽检高出一截。关键是数据稳了,周跟周之间能比了。之前那个4200条的库,我根本不敢拿两周数据做对比,一比就是「又涨了」或者「又跌了」,全是噪声。
踩过的坑说一个。
砍的时候我一度想把「竞品对比类」问句全砍了,觉得这种问题AI多半答不利索。后来留了60条试,发现这类问句反而是首提率最高的——因为对比场景下AI必须点名,不点名答不完整。所以砍归砍,别一刀切,先小批量试。
最后抛个问题:你们筛问句库的时候,是咋个判断一条问句「值不值得跑」的?我现在这套三条标准还是有点拍脑壳,特别第一条「信息可得性」,我全靠人工判断,效率低得很,有没有更硬的办法?
