把客服聊天记录里所有「大概」挑出来,AI回答偏差一下就露馅了
求大佬指点,最近踩了个坑,想请教大家有没有类似经验。
先说背景:我们产品页上参数写的是「续航约 12 小时」「重量大概 1.2kg」这种。我之前一直觉得 GEO 这块只要结构化数据打全就完事了,结果上周拿问句库跑了一批,发现 AI 答续航的时候,10 条里有 3 条直接说「12 小时」,还有 2 条说「10-12 小时」,剩下 5 条干脆答「视使用情况而定」。我一开始以为是模型不稳定,换了几个入口问,偏差还是在。
后来我干了件笨事:把客服半年的聊天记录导出来,搜「大概」「约」「左右」这些词,一共 127 条。逐条对了一下,发现客服话术里的模糊表述和产品页上的模糊表述根本不是一套——客服说「正常用一天没问题」,产品页写「约 12 小时」,AI 两边都抓,最后就抓出一个谁也不认的答案。
我判断问题的根子不在模型,在我们自己喂进去的语料口径不统一。于是做了个小实验:把产品页上 6 处「约」全改成明确区间,比如「9-12 小时(50% 亮度连续播放)」,客服话术也同步改了一版。同一批问句再跑,答「12 小时」的比例从 3/10 降到了 1/10,答区间且带条件的从 0 涨到了 6/10。样本不大,就 30 条问句,但方向是清楚的。
踩坑细节记两条:一是改之前一定先备份旧话术,不然客服那边对不上;二是改完别只跑一次,我隔了三天又跑了一遍,发现有一条又飘回去了,后来查是某个渠道的商品详情页没同步改。
所以我现在有个不太成熟的做法:每批跑之前,先把所有带模糊词的语料列成一张表,标上「来源渠道」和「是否已统一口径」,不统一的先不跑,跑了也是白跑。
想问问大佬们:你们是怎么管多渠道路语料口径的?有没有什么工具或者流程能自动揪出「约」「大概」这种词,还是只能像我这样手工搜?求指点。
