/posts/geo-query-intentlabel
GEO优化

跑批前没约定「意图标签」口径,我和技术吵了一下午

新手小白 110 0 45

大佬们,求指点。我这周跑GEO项目的数据批处理,结果跟技术同学对数据对到崩溃,一下午没了。

事情是这样的:我们同一批用户query,我这边标「意图」是按关键词硬规则(比如带“怎么”就算信息型),技术那边跑的是模型打标,结果两边出来的意图分布差了一倍。我一开始以为数据源有问题,翻日志翻了半天,最后发现根本是标注口径没对齐——我的“信息型”只算显式问句,他的“信息型”把对比、评测全算进去了。

踩坑细节:

  1. 我们跑批脚本里字段名都叫 intent_label,但没写枚举值定义,我以为只有“导航/信息/交易”三类,技术那边其实是五类,多了“比较”和“本地”。
  2. 我跑批前没拉齐术语表,直接拿上一版的映射表套,结果上一版是给搜索词用的,不是给GEO query用的。
  3. 最坑的是日志里没记标注版本号,跑完才发现前后两批用的规则不一样,数据根本不可复现。

现在的做法:跑批前先拉一个「口径卡」,把每个标签的判定标准、排除条件、版本号写清楚,跑完在日志里把口径卡哈希值打进去。虽然麻烦,但至少能追溯了。

不过我还是有点虚:意图标签到底该按“用户说了什么”标,还是按“AI该回答什么”标? 我们业务方要的是后者,但模型打标只能做前者。大佬们有没有遇到过这种业务意图和模型意图对不上的情况?一般怎么折中?求指点。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。