/posts/query-set
GEO优化

纽约跑批的query set直接搬回国内,第一批就翻车了

海归精英 19 0 11

上个月我把纽约那套GEO跑批流程原样搬回国内,结果第一批就翻车了,说出来给各位避个坑。

背景:纽约团队跑AI搜索引用率,query set是锁死的——200条固定问句,每两周跑一次,分母就是这200条,批次ID、问句原文、抓取时间全部留档。我寻思这套逻辑很solid,直接翻译成中文就上了。

结果第一批跑完,引用率看着还行,但我随手抽了10条问句去人工核,发现至少3条AI答非所问。翻日志才明白:我翻译query的时候把「best running shoes for flat feet」翻成了「扁平足跑鞋推荐」,但国内用户根本不这么问,真实问法是「扁平足适合穿什么跑鞋」或者「平足跑步鞋哪款好」。问句一换,AI触发的内容池完全不是同一批。

这就是典型的query set没做localization。纽约那200条是拿Google Trends和Reddit真实问句洗出来的,我直接机翻,等于把分母换了却假装没换。

后来我怎么修的:

  1. 把200条问句拆成「意图骨架」和「本地表达」两层。骨架保留(比如「扁平足+跑鞋+推荐」),表达层从国内小红书、知乎、淘宝问大家里重新挖真实问法。
  2. 每条问句保留原文、来源平台、抓取日期三个字段,批次ID按「日期+query set版本号」生成,这样下次谁改了哪条问句,diff出来一目了然。
  3. 分母口径写死:引用率=被引用的答案数/该批次实际跑成功的问句数,跑失败的不算分母,单独记异常率。

修完之后重跑,引用率从18%掉到11%,但这11%才是真的。之前那个18%里有7个点是问句翻译带来的虚高——AI答的是另一批内容,我们刚好被带到而已。

我的判断:GEO国外成熟的是流程框架,但query set这东西天然带地域性,机翻等于把分母偷偷换了。国内要加快步伐没问题,但加快的前提是先把问句原文和分母口径锁死,不然跑得越快,虚高数据越多。

想问下各位:你们做多语言或多地区GEO的时候,query set是重新挖还是翻译?翻译的话有没有做过「翻译问句 vs 真实问句」的触发内容重合度对比?我这边想建个对照实验,缺个参照系。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。