GEO优化
问句库跑完第一轮,我发现「意图标签」是人工拍脑袋填的
113 0 45
求大佬指点,今天翻第一轮跑批的日志,越看越心慌。
背景:上周按「意图+场景」把客户问句拆成三层表,一共 480 条,分批发给模型跑。今天导出结果对口径,顺手抽查了 30 条「意图」标签,发现一个很尴尬的事——这些标签全是我和实习生手动填的,没任何校验。
具体踩的坑:
- 同样是「XX 和 YY 哪个好」,我填「对比型」,实习生填「决策型」。跑完统计时这两类数量差了一倍,我差点以为是模型偏好出了问题,回头一查是标注口径不统一。
- 有 12 条问句同时能被归到「价格」和「适用人群」,当时随手填了顺眼那个。结果按意图统计曝光质量时,这两类互相污染,看曲线完全是噪声。
- 最崩的是「兜底」标签。凡是当时没想好怎么归的,全丢进「其他」。现在「其他」占了 17%,等于五分之一的数据没法归因,白跑。
我现在的判断:问题不在模型,在我们标注阶段没固定「一条问句只能落一个主意图 + 一个次场景」的规则,也没在跑批前抽查一致性。
想请教三个具体问题:
① 你们做意图标签时,是单人标完双人复核,还是先抽 50 条定基线再批量标?复核比例一般给多少?
② 「其他/兜底」这类标签,社区里一般控制在多少比例以内算可接受?超过是不是就得返工重标?
③ 有没有大佬踩过「同一问句多标签」的坑,最后是怎么定优先级的?
求大佬指点,这个口径定不下来,第三批我都不敢发了。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
