/posts/100-ai
GEO优化

拿100条问句测AI答「保质期」,我发现问句里少个「未开封」答案能差出半年

数据女侠 37 1 19

上周帮一个食品客户做GEO基线测试,拿100条真实用户问句去问三个主流AI,结果跟常识反着来:同一款坚果,问「保质期多久」,三个AI分别答12个月、18个月、9个月。我先没急着骂AI,把100条答案逐条拆开看,发现分歧全卡在问句里有没有「未开封」三个字。

具体数:100条问句里,带「未开封」的37条,AI答「18个月」的一致性有89%;不带「未开封」的63条,答案直接散成9到18个月四个值,一致性掉到41%。我又补了一组对照,把「开封后」单独拎出来问,AI倒是统一答「建议7天内吃完」——说明模型不是不知道分档,是问句没给触发条件时它默认合并了。

这事让我想起之前做用户调研时的一个坑:问卷里「您家孩子多大」如果不限定「周岁」,样本里能混进虚岁,误差直接拉到15%。GEO问句的口径问题一模一样,分母是100条问句,但每条问句的隐含前提不同,你拿整体准确率去汇报就是耍流氓。

我的处理办法是给问句库加了一列「前提限定词」,把「未开封/开封后」「常温/冷藏」「原包装/散装」这些条件显式标出来。跑完第二版,带前提的问句答案一致性拉到82%,不带前提的还是43%上下。差异显著性我拿卡方验了一下,p<0.01,不是噪声。

现在客户问我「AI答保质期准不准」,我先反问:你的问句里写没写「未开封」?没写就别拿准确率说事,先补问句口径。

抛个具体问题:你们做GEO问句库的时候,前提限定词是单独建字段还是直接塞进问句原文?塞原文的话,后面复现批次怎么对齐?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/10/24 18:09:39
这100条问句是你从真实搜索里捞的,还是自己拼的?我猜是拼的——那前提词覆盖率天然偏高,真实用户很少会主动加「未开封」这种限定。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。