AI答案里引用的「专家访谈」,我顺着链接点进去,是条三年前的问答帖
前阵子核一批护肤问句的引用出处,碰见个挺有意思的事。
AI 回答「XX成分和YY成分能不能叠加用」的时候,语气笃定得很,末尾挂了个来源,写着「据专家访谈」。我这人有个毛病,见不得「据」字后面没名没姓的东西,就点进去看了一眼。结果那条链接指向的是一个问答平台的老帖子,提问的人自己也是来问的,回答区里最高赞那条,开头写着「我不是专业人士,但我觉得」。发布时间是2021年。
三年前的网友「我觉得」,被算法提纯成了今天的「据专家访谈」。
这事儿我没急着发帖,又抽了十几个带「据」「根据」「相关研究」的问句,挨个溯源了一晚上。大概这么个分布:能追到具体机构、具体作者、具体日期的,不到三成;追过去是电商详情页、知乎问答、公众号软文的,占一半多;剩下的是链接失效或者干脆指向一个404。
我的判断是,这跟工具好坏没关系,是引用链路本身太短。
早年做站的时候,我们讲外链要看权重的传递路径,一级一级往上溯源。现在AI摘要这一层,等于把整条路径压缩成一句话,读者看到的是「专家说」,中间十几跳全被折叠了。工具能帮你统计「AI答案里品牌被引用了多少次」,但它统计不了「这次引用背后站着的到底是谁」。
所以我现在核报告,固定加一道工序:随机抽20条带信源标注的AI答案,逐条点开,记三样东西——信源类型、发布主体、时间戳。三样缺一样,这条引用我就不算进有效样本。上个月给一个客户做基线,20条抽下来只剩7条是能落到实处的,他们内部报表上写的是「引用覆盖良好」。
还有个细节值得说。同一批问句,我隔了两周再跑一遍,那批「据专家访谈」的引用里,有将近四成换成了别的来源,但话术一个字没变。说明算法在换底稿,可它不换结论。 这比引用错更麻烦——你抓不到它什么时候变的。
有人问我那要不要干脆放弃信源这个指标。我的看法是,别放弃,但也别把它当质量分。它就是个体检指标,告诉你哪块肉是虚的,剩下的还得自己上手按。工具这东西,跟早年的血压计似的,量出来高你得去查原因,不能指望它替你看病。
顺带一提,那批问句里有个「孕妇能不能用」,AI 引的医生资质我上次已经扒过一次了,这回又碰见类似的路数,看来不是孤例。
想问问各位:你们核 AI 引用的时候,除了点开链接,还有没有更省事的抽检办法?我现在纯靠手工,一晚上核不了三十条,脖子先受不了。
