GEO优化
拿100条问句测AI答「保质期」,我发现问句里少个「未开封」答案能差出半年
37 1 19
上周帮一个食品客户做GEO基线测试,拿100条真实用户问句去问三个主流AI,结果跟常识反着来:同一款坚果,问「保质期多久」,三个AI分别答12个月、18个月、9个月。我先没急着骂AI,把100条答案逐条拆开看,发现分歧全卡在问句里有没有「未开封」三个字。
具体数:100条问句里,带「未开封」的37条,AI答「18个月」的一致性有89%;不带「未开封」的63条,答案直接散成9到18个月四个值,一致性掉到41%。我又补了一组对照,把「开封后」单独拎出来问,AI倒是统一答「建议7天内吃完」——说明模型不是不知道分档,是问句没给触发条件时它默认合并了。
这事让我想起之前做用户调研时的一个坑:问卷里「您家孩子多大」如果不限定「周岁」,样本里能混进虚岁,误差直接拉到15%。GEO问句的口径问题一模一样,分母是100条问句,但每条问句的隐含前提不同,你拿整体准确率去汇报就是耍流氓。
我的处理办法是给问句库加了一列「前提限定词」,把「未开封/开封后」「常温/冷藏」「原包装/散装」这些条件显式标出来。跑完第二版,带前提的问句答案一致性拉到82%,不带前提的还是43%上下。差异显著性我拿卡方验了一下,p<0.01,不是噪声。
现在客户问我「AI答保质期准不准」,我先反问:你的问句里写没写「未开封」?没写就别拿准确率说事,先补问句口径。
抛个具体问题:你们做GEO问句库的时候,前提限定词是单独建字段还是直接塞进问句原文?塞原文的话,后面复现批次怎么对齐?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
