GEO优化
跑批前先锁死意图标签字段,我踩了三次坑才搞明白
100 0 45
求大佬指点,也把我这两天踩的坑摊开说说。
先说结论:跑批之前不把意图标签的字段口径锁死,后面的数全是废的。 这话我以前听人说过,但真到自己上手跑,才发现“锁死”两个字有多少细节。
第一次踩坑:字段名一样,含义不一样
我拿到一批客户问句,准备打意图标签。表头写的是“意图类型”,我以为就是“问品牌/问价格/问对比”这种。结果跑出来发现,同一批问句里,有人把“哪家好”归到“问品牌”,有人归到“问对比”。标签一乱,后面统计覆盖率直接差了快两成。
教训:跑批前先把每个标签的定义写下来,一句话,不能有歧义。 比如“问对比”必须是明确出现两个及以上品牌名的问句,否则归“问品牌”。
第二次踩坑:多标签怎么算没定
一条问句既问价格又问售后,该打一个标签还是两个?我第一次跑的时候默认只打一个主标签,结果同事跑的时候打了多标签,分母就对不上了。
我现在的做法是:主标签唯一,副标签最多两个,统计时只认主标签。 副标签单独存一列,用来做交叉分析。这个规则不提前说清楚,两个人跑同一批数据能差出30%的覆盖率。
第三次踩坑:空值和“未识别”混在一起
跑批脚本里对没识别出来的问句,我一开始直接留空。后来发现空值在统计时被当成缺失值跳过了,分母变小,覆盖率虚高。现在统一填“未识别”,而且“未识别”要算进分母,单独列一行占比。 这个占比超过15%就说明标签体系有问题,得回头改定义。
我现在的跑批流程
- 先写标签定义文档,一句话一个标签,附正反例各两条
- 定好多标签规则和空值处理方式
- 拿50条样本先试跑,人工核对一遍
- 核对没问题再跑全量
这套流程跑下来,同一批数据两个人跑出来的覆盖率差异能压到3%以内。
想请教大佬的问题
意图标签的粒度到底怎么定比较合理?我现在是按“问品牌/问价格/问对比/问售后/问场景”五类分,但客户那边有问“适不适合孕妇”这种,我归到“问场景”里,总觉得不太对。大佬们一般分多少类?会不会分太细导致跑批成本太高? 求指点。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
