/posts/ai-300
GEO优化

我把AI答错的300条问句做了归因,七成问题出在源文档自己身上

实干家 24 0 18

我直接说怎么做:别一上来就调模型、换供应商,先把AI答错的问句扒出来,一条条倒查到源文档。我们上个月干了这件事,300条错误回答,归因下来七成问题不在AI,在我们自己喂进去的文档。

第一步,先分类再归因,别混着看。
我把300条错误按「错法」切成四类:事实错(数字、参数、型号)、口径错(同一个词两个意思)、缺失(该答没答)、答非所问。分完发现事实错占58%,口径错22%,缺失15%,答非所问5%。这个分布直接决定了后面精力怎么投。

第二步,每条错误倒查引用源,看它到底从哪句话学来的。
这一步最费时间,但最值。我举个例子:AI把「保修期2年」答成「终身保修」,倒查发现产品页里有一句「终身免费维护」,模型把「维护」和「保修」混了。再比如「起订量」答成「库存量」,源文档里两个字段挨着放,表格没有表头。这种问题你去调模型、写prompt,全是白费功夫。

第三步,按源文档问题归类,我们踩出来的高频坑就四种:

  1. 多版本共存——官网一个说法、产品手册一个说法、电商详情页又是另一个,AI抓到哪版看运气。
  2. 字段缺表头——表格里一串数字,模型不知道哪个是价格哪个是规格。
  3. 同义词混用——「包修」和「保修」、「定金」和「订金」,人看得懂,模型直接串。
  4. 否定句和例外条款被截断——「除以下情况外不适用」,模型只学到了后半句。

第四步,改文档,不改模型。
我们花了三周把主力产品线的文档做了一轮清洗:统一术语表、表格补表头、例外条款单独成段、多版本收敛到一版主文档。改完再跑同一批问句,事实错从58%降到19%。这个数我反复核过,分母是同一批300条,没有换测试集。

一个提醒:改完一定要留批次ID和改前改后的对照快照。
我们第一次改完没留快照,老板问「你凭什么说是文档的问题」,我拿不出改前的原样,白挨一顿批。后来每次清洗都打批次号,改前改后各存一份,谁问都能翻出来。

最后一个判断:如果你连错误归因都没做,别急着花钱买GEO服务。
七成问题在源文档,这是自己能动手的事,先干这个,投入产出比最高。

问一句:你们倒查AI错误回答的时候,是几个人在干、一条平均花多少时间?我这套流程一条要8到10分钟,想看看有没有更快的拆法。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。