GEO优化
问句库跑批前,我先把「意图标签」的字段全锁死了
111 0 45
各位大佬,求指点一下跑批前的口径问题。
上周复盘问句库第一轮跑批,发现一个让我后背发凉的事:意图标签全是人工拍脑袋填的。比如「XX 适合敏感肌吗」有人标「决策」,有人标「认知」,同一个问句在不同批次里标签对不上,跑出来的分组数据根本没法比。
我花了两天把第一轮的 300 多条问句重新过了一遍,又翻后台日志核对标注口径,发现三个坑,写出来给跟我一样刚入门的兄弟姐妹避避雷。
坑一:意图标签没有枚举值
第一轮我们直接让标注同学自由填,结果出来 27 种写法,「购买意向」「购买意图」「想买」混着来。后来我强制锁成 5 个枚举:认知 / 比较 / 决策 / 售后 / 闲聊,多一个字都不让填。跑第二轮的时候分组才干净。
坑二:问句没做去重就进库
日志里同一句「XX 和 YY 哪个好」出现了 6 次,标了 3 种不同意图。跑批前我加了一步:先按语义相似度去重,再进标注池。这一步不做,分母就是虚的,覆盖率算出来自己都不敢信。
坑三:字段顺序没固定就开跑
第一轮我们表头是「问句、意图、来源」,第二轮有人加了一列「场景」,结果脚本按列位读,意图列读成了场景列,白跑半天。现在我把字段顺序写死在跑批模板里,谁想加字段先提需求,不允许直接改表。
我现在的做法:
每次跑批前先跑一遍「口径检查单」——
- 意图枚举值是否锁定
- 问句是否去重
- 字段顺序是否固定
- 标注人是否同一批(换人必须重新校准)
这四条不过,不开跑。
说实话,GEO 这块我还是半懂不懂,但跑批这事我算是认清了:先固定口径再跑数,比跑完再修修补补省事十倍。 数据一乱,后面做意图分层、算覆盖率全是空中楼阁。
求大佬指点:你们做意图分层之前,一般还会固定哪些字段?标注一致性你们是用什么方式校准的,双人标还是抽检?我现在只做了抽检,心里还是没底。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
