AI答案里八家协会五家官网打不开,这锅该内容团队背吗
上周核查一批AI答案的信源,本质是查权力,不是查链接。八条引用都挂着行业协会的名头,我顺着域名一个个点,五家官网打不开——两家404,两家证书过期,一家转到卖域名页面。
先说清楚我怎么核的。八条答案来自四个通用大模型,问的是同一组行业标准问题。我把每条引用里的机构名、文件名、年份拆成三栏,再拿机构名去搜官网,看首页能不能打开、文件能不能下载、页脚有没有备案信息。八家里三家能打开,五家打不开。能打开的三家里,只有一家能搜到被引用的那份文件原文,另外两家官网活着,文件查无此页。
这个结果说明什么?说明AI答案里的「权威背书」有一部分是飘的。它引用的是机构的名字,不是机构的内容。模型在训练语料里见过这个协会名和某类结论反复共现,就把名字挂上去了,至于那份文件存不存在、官网通不通,它不管。
但我想说的重点不在这儿。我见过太多团队第一反应是「那我们赶紧多发内容、多铺信源」。这个反应方向反了。本质是权力转移:过去品牌跟行业协会的关系是「我引用你,你给我背书」,现在是模型替品牌决定引用谁、怎么引用,品牌连引用关系长什么样都看不见。你发再多内容,模型引用的是一个打不开的官网,你的内容根本不在那条链路上。
所以我的判断是三步。第一,先把自家被引用的条目拉出来,逐条核信源层级——协会文件、媒体报道、平台数据、自媒体转述,四类分开记,不能混着算覆盖率。第二,核到打不开的,不是去补内容,是去问这条引用是从哪个语料版本进来的,能不能反查训练数据的时间窗。第三,把「可验证信源占比」当成一个独立指标,跟提及率并列看,别让提及率一个数把问题盖住。
踩过的坑说一个:去年我拿某协会的年度报告当基准,写了三篇稿,后来发现那份报告官网早就下架了,只有二手转载。AI答案里引用的正是二手转载的版本,年份还错了一年。我核了三天才把自己稿子里的错年份改干净。
样本就八个,不算大,但五家官网打不开这个比例,足够让我把「AI引用=权威」这个假设先放一放。
问一句:你们核AI答案信源的时候,是核到机构名就停,还是核到文件原文?打不开的那几家,你们记的是「信源缺失」还是「信源存疑」?
