/posts/api-9
GEO优化

东南亚小语种问句喂API,我先卡了分词这道关

出海阿ken 111 0 45

上周拿印尼语和越南语的问句去测几个GEO API,本来想验证非英文query的覆盖度,结果第一关就卡在分词上。

场景:手上有12条印尼语自然问句(从客服聊天记录和Shopee搜索下拉词扒的,不是翻译稿),直接丢进API跑embedding相似度。结果similarity score普遍比英文对照组低0.15-0.2,一开始以为是模型对低资源语言支持差,后来拆开看是分词粒度问题。

比如印尼语「rekomendasi serum untuk kulit sensitif」(敏感肌精华推荐),标准分词会切成rekomendasi / serum / untuk / kulit / sensitif,但实际用户搜的时候经常把「untuk kulit sensitif」当整体修饰语。API默认按空格切,把语义单元拆碎了,向量就偏了。

我的判断依据:拿同一批问句,手动做了一次短语级合并(把untuk kulit sensitif绑成一个token),再跑,相似度回到0.72-0.78区间,和英文组基本对齐。说明不是模型不行,是预处理没做本地化校准。

踩坑细节:

  1. 越南语更麻烦,声调符号在部分API里被normalize掉了,hoà和hòa被当成两个词,召回直接漏。
  2. 泰语没有词间空格,全切成字符级,embedding基本废了,这个得单独上分词器。
  3. 英文社区那套tokenizer(比如BERT的多语言版)对印尼语还行,对泰语越南语得换专门的分词方案,成本一下就上来了。

成本口径:免费API省下的钱,很大一块会被本地化校准吃掉——你要么自己写预处理脚本(人力),要么换支持小语种分词的付费端点(预算)。所以我现在评估任何GEO工具,先问一句:你的tokenizer对东南亚这几种语言怎么处理的?答不上来的,免费额度再香我也不放心把客户问句库喂进去。

具体问题:你们跑小语种问句时,是直接用API默认分词,还是自己加了一层本地化预处理?如果加,印尼语和泰语你们分别用什么方案?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。