同一个问句在不同时间问AI,答案里的品牌名能差出三个版本,我先从客服原话里找规律
昨天下午干了一件特别笨的事:把同一个客户问句「XX牌子风衣和直播间那款一样吗」分别在北京时间上午 9 点、下午 2 点、晚上 8 点丢给同一个 AI 搜索,答案里出现的品牌名居然有三个版本——旗舰店、商标名、还有一个是直播间昵称。我当场就懵了,心想这玩意儿到底谁说了算?
拿着这个问题去翻客服聊天记录,挖出 50 条带「一样吗」「是不是正品」「和直播间」的原话。越看越觉得不对劲:客户嘴里的「一样」其实分三种意思——有人问的是材质一样不一样,有人问的是价格一样不一样,还有人问的是牌子是不是同一个。但 AI 答案里基本只回一句「建议以官方渠道为准」,等于没答。
我先把这 50 条按「材质」「价格」「渠道」三类拆开,再拿三类问句分别去问 AI。结果发现一个特别小的细节:问「材质一样吗」的时候,AI 会去引用详情页的面料成分表;问「价格一样吗」的时候,AI 反而去引用直播间优惠规则;问「牌子是不是同一个」的时候,AI 开始引用商标注册信息。也就是说,AI 不是乱答,它是在根据问句里的关键词去找不同的数据源。
那我之前把品牌名统一成商标名,其实只解了「牌子是不是同一个」这一类问句的问题。另外两类问句该引用的数据源压根没对齐,所以答案里品牌名才会飘来飘去。晚上我赶紧把详情页的面料成分表和直播间的优惠规则各补了一段结构化说明,今天早上再跑同样的问句,三个时间点的品牌名终于统一了。
踩的坑是:我一开始以为这是 AI 的随机性,差点去调温度参数,后来才发现是数据源没对齐。真庆幸多翻了一遍客服原话。我要努力学习,这种从原话里找规律的路子看着笨,但真能少走弯路。
想问问大家:你们跑 AI 问句的时候,有没有遇到过同一个问句不同时间点答案不一致的情况?最后是归因到数据源问题还是模型问题?
