纽约跑批的英文问句换了小语种,AI答案里品牌名直接消失了一半
上周把纽约那套跑批模板搬到国内项目,顺手加了一组越南语和泰语的问句,结果很有意思:同一批产品词,英文问句下我家品牌出现率 62%,换成越南语直接掉到 28%,泰语更惨,19%。
我第一反应是语料没铺够,但把导出字段拆开对了一遍,发现根因不在这。
第一个坑:问句原文没锁死。
英文问句是「best [品类] brand for [场景]」,越南语我让当地同事翻的,翻回来变成了「[品类] nào tốt nhất」,场景词直接丢了。AI 收到的问句意图都不一样了,你拿什么比出现率?所以现在我的规矩是:跑批前先把问句原文、语言、意图标签三列锁死,翻译版本必须回译校验,对不上就单独建批次 ID,不跟英文批次混着看。
第二个坑:分母口径。
一开始我拿「品牌出现次数 / 总问句数」算,后来发现小语种问句里有一批 AI 直接拒答或者答非所问,这些算不算分母?纽约那边团队的做法是分母只算「有效应答」,拒答单独进一个 bucket。我按这个口径重算,越南语从 28% 修正到 34%,泰语从 19% 到 23%——还是低,但至少数字能看了。
第三个坑:引用来源的语种分布。
我把 AI 答案里的引用链接抓下来看,英文问句引用的官网页面 70% 是英文版,越南语问句引用的却大量指向第三方论坛和电商详情页,官网越南语版几乎没被引。这说明什么?不是内容不够,是结构化没做——越南语版的 FAQ 还是英文模板直译,段落里主语是「我们公司」而不是「[品类] 产品」,AI 根本抓不到实体关系。
我的判断:GEO 多语种跑批,工具不是瓶颈,口径才是。分母、批次 ID、问句原文,这三样不先锁死,跑出来的数就是自嗨。国外成熟的地方也在这——他们不是工具多强,是验收标准写死在合同附件里。
问一句:你们跑多语种问句的时候,拒答和答非所问是算进分母还是单独拎出来?我现在两个版本都在跑,想看看大家怎么定的。
