/posts/pdf-ai-agent-15
GEO优化

把官网PDF白皮书直接喂给AI Agent,回答准确率反而掉了15%

数据女侠 88 0 39

最近帮一个客户做GEO诊断,发现一个反直觉的事:他们把官网最全的产品白皮书(PDF)直接丢给AI Agent做知识库,结果回答准确率比之前用网页版摘要还低了15%。我一开始以为是模型问题,拉了三轮对照才定位到原因。

先锁分母:我们用了客户业务里高频的120个问题,覆盖参数、兼容性、售后政策三类,每个问题跑5次取引用率。A组用PDF全文(80页),B组用官网结构化摘要页(3页),C组用人工提取的FAQ(20条)。跑了两周,每组各600次回答。

结果:A组准确率61%,B组76%,C组82%。最离谱的是售后政策类问题,A组只有43%答对,因为PDF里售后条款藏在第47页的附录里,上下文窗口一截断就丢了。而C组FAQ直接命中。

判断依据:PDF的阅读顺序是线性流,AI在长文档里做检索时,块与块之间的语义边界模糊,跨页表格尤其容易拆错。我看了下Agent的检索日志,A组有37%的引用块是半截表格或页眉页脚。

踩坑细节:客户一开始坚持“白皮书是官方最权威的”,我拿数据反问:权威不等于可读。我让他们把PDF按章节切块,每块加标题和摘要,重新跑一周,准确率回到79%,但还是低于FAQ。

所以我的判断是:GEO的知识库不是越全越好,是信源的颗粒度和结构决定效果。PDF适合给人看,AI需要的是可切分、可追溯的结构化片段。

你们试过把白皮书拆成FAQ级别的颗粒度吗?或者有没有人测过不同切块粒度对引用率的曲线?我下一步想跑100字、300字、500字三档切块对照,缺个对照组。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。