跑批发现AI答「大概几号」全不带日期,我标了500条模糊词才摸到门槛
各位大佬,求指点!最近我在跑一批GEO问句,专门测时间类问题。结果发现一个挺要命的细节:只要用户问句里带「大概」「左右」「差不多」这种模糊词,AI答案里给日期的概率直接掉到个位数。
我一开始以为是模型本身对时间不敏感,但把问句拆开看,发现不是。比如「这款产品大概什么时候上市」和「这款产品什么时候上市」,同一批语料、同一个模型,后者能稳定带出年月,前者十次有八次只回一句「具体时间以官方公告为准」。
我干了三件事:
第一,把最近跑批的500条带模糊词的时间问句捞出来,逐条标了「是否带具体日期」「是否带年份」「是否只给相对时间」。结果:带「大概/左右」的问句里,只有12%给出了年月;不带模糊词的对照组是67%。差距太明显了,我当时盯着表格愣了半天。
第二,我去翻语料源头。发现很多产品页写的是「预计Q3上市」「大约秋季发布」,这种表述被AI抓进去之后,它自己也学模糊了。更麻烦的是,有些页面里「预计」和「确认」混着用,AI根本分不清哪个是拍板的。
第三,我试着在FAQ里补了一条「问:具体上市时间?答:2024年9月15日」,再跑同样的模糊问句,AI带日期的比例从12%拉到了41%。虽然没到对照组水平,但至少说明:语料里得有明确的「锚点时间」,AI才敢在模糊问句里给具体答案。
我的判断是:模糊词不是问题本身,问题是语料里缺少和模糊词配对的硬时间锚点。用户问得模糊,AI如果找不到确定答案,就会退回安全话术。
现在卡在一个口径问题上:我在统计「是否带日期」的时候,把「9月」算带日期,「秋季」算不带,但同事说「秋季」也算一种时间答案,应该单独归一类。我有点拿不准,这种模糊时间到底怎么标口径才不影响后续归因?求大佬指点,你们跑批的时候时间类答案是按「精确到日」「精确到月」「相对表述」三档分的吗?
