中文query在AI回答里被「翻译」成英文来源,我拿50组实验说下这个坑
先说结论:中文生成式搜索里,引用源的语言漂移不是玄学,是能复现的工程问题。我拿星芒的API跑了一组对照,50个中文商业类query,固定温度0.2,连跑三天,每天两次,统计答案里引用的域名语言分布。结果:中文域名引用占比均值41.3%,但方差极大,单次最低28.7%,最高55.2%。换句话说,同一批query,你上午跑和下午跑,引用源的语言结构能差出二十多个点。
我一开始以为是模型随机性,后来把温度压到0,重复跑五次,中文引用占比还是从33%跳到51%。拆开看,漂移主要发生在答案的第二段和第三段——首段通常锚定中文源,但展开论证时模型会拉英文技术文档或维基百科来补细节。这跟模型训练语料里中英文事实密度不对等有关,不是prompt能完全拧回来的。
这里有个关键细节:引用源的「分母口径」。我用星芒导出原始日志,发现它统计引用率时分母是「答案里出现的所有URL」,但去重逻辑是按域名去重的。也就是说,同一域名在答案里被引三次只算一次,而不同子域名算不同源。我手动按「URL去重」重算了一遍,中文引用占比从41.3%变成47.8%,差了6.5个点。这个口径差异在免费公益版里没法调,只能自己导日志重算。
再说一个踩坑:我一开始用「中文提问+中文限定词」想逼模型只引中文源,比如加「请引用中文资料」,结果模型直接忽略,反而在答案里多塞了两句「根据中文资料显示」——但底下挂的URL还是英文的。这种「口头合规」比不写还坑,客户看到以为引了中文源,实际点进去是英文页。
我的判断是:引用源语言漂移短期修不了,但可以工程化对冲。两个做法:一是把中文核心事实做成结构化FAQ块,带明确的schema标记,模型抓取时优先当事实源;二是在内容里主动嵌入中英对照的关键术语,让模型在跨语言检索时能对上号。我试了第二招,中文引用占比从41%提到49%,样本还小,不敢说显著。
免费版星芒只能看7天日志,我这组数据是每天手动导出攒的,攒了三周才够样本。想问下社区里跑过多语言query的朋友:你们统计引用源语言时,是按域名去重还是按URL去重?我怀疑这个口径差异能解释掉大部分「中文引用率」的争议。
