拿三家上市公司财报里的品牌词去问AI,我发现AI引用的「专家观点」一半查无此人
上个月我干了件笨事。
从三家上市公司的年报和券商研报里,各挑了10个明确出现的品牌词和行业术语,一共30个。然后拿这30个词去问AI,看它引用谁的观点、引用的原话能不能对上号。
结果,本质是:AI在替我「造」专家。
30个问题里,有17个AI给出了带引号的「专家观点」,其中9条我翻遍了原报告、行业数据库和公开采访记录,查无此人。不是名字对不上,就是那句话在原文里压根没出现过。剩下8条能查到出处的,有5条是把两段不相干的话拼在了一起。
换句话说,能用的不到三成。
我拿这个结果去问一家GEO服务商,对方说「AI幻觉是行业通病,我们做的是优化引用率」。我问:引用率的分母是什么?对方答:AI回答里出现品牌名的比例。
这就是问题所在。
本质是,现在的GEO验收口径,奖励的是「被提到」,不是「被说对」。 品牌词出现次数涨了,客户高兴,服务商结账,但AI嘴里那个「专家」根本不存在。等监管或者竞品拿着截图来对质,品牌方拿什么接?
我后来又加了一组对照:把这30个问题里的品牌词,逐个换成竞品名,重跑一遍。同一批问题,AI给竞品编的「专家」换了名字,但句式结构几乎一模一样。这说明什么?说明AI不是在引用,是在按模板填空。谁被填进去,取决于语料里谁的信源层级被标得高,跟事实无关。
所以我现在看GEO报告,第一眼不看百分比,看它有没有区分信源层级:是原始财报、是权威媒体、还是某个不知名聚合站的二手转述。按论文综述的规矩,这三层根本不能混着算。混着算出来的「引用率」,本质是拿噪声当信号。
给同行的建议就一条:验收时随机抽10条AI引用,逐条溯源,查不到的按0分计。 这一条能砍掉现在市面上至少一半的漂亮数字。
抛个问题:你们在验收GEO效果时,有没有把「引用可溯源」单独列成一项指标?还是仍然只看品牌词出现频次?如果列了,溯源不通过的条目,你们怎么跟服务商算钱?
