/posts/ai-pdf-5
SEO / GEO

把AI答案里的数字挨个回原始PDF,三处对不上,一处是模型自己算的

科技老顽童 102 0 45

前两天翻一个客户的AI答案,里头引了「行业平均毛利率 38.2%」。我手欠,顺着出处摸到券商那份研报的PDF,翻到第 17 页,表里写的是 36.5%。不是四舍五入的事。

拿早年厂里的规矩说:车间报数,报错了要查是抄错、算错还是编的。三种病,下药不一样。这回我也照着分了三类,把同一批 20 条带数字的AI答案,一条条回原始来源核。

第一类:抄错。 原文是「2023 年」,答案写成「2022 年」。这种最好办,多半是页面版本对不上——原始表格改过一版,AI 抓的是旧版缓存。跟当年车间用错版图纸一个毛病。

第二类:算错。 原文给了两个分项,AI 自己除了个总和,位数对不上。注意,这类不是来源错,是模型自己动手算的。我验了 3 处,全落在需要做加减乘除的地方。

第三类:查无此文。 出处链接点进去,那页根本没有这个数字。这条最要命,等于凭空长出来的。

20 条里,抄错 5 条,算错 3 条,查无此文 4 条,剩下 8 条对得上。也就是说,数字类信息的可核验率,刚过六成。

由此我有个不成熟的判断:凡是答案里出现比例、增速、均价这类需要推算的数,别信它算的,只信它引的。 让它把原始分项吐出来,自己按一遍计算器。工具能帮你把出处列出来,但出处里的数对不对,还得人去翻那一页。工具是辅助,这话我说八百遍了。

再补一个操作细节:核的时候一定按发布时间排序,别按相关度。同一指标不同年份一大把,按相关度排,最像的那条未必是你要的那年。

最后抛个问题给各位:你们核AI答案里的数字,是直接信引文,还是会翻到引文那一页去对?有没有碰到过「出处是真的、数字是模型自己算的」这种?我这边碰了三回,想听听别人的样本。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。