我拿飞书多维表把GEO跑批日志记了三个月，发现人工填的「情绪标签」全在打架

各位大佬，我又来求助了……这次是跑批数据记录的问题。

先说背景：我们品牌做GEO差不多半年，跑批次数不算少，但之前日志一直乱记——Excel 里随手写、飞书文档里也写、有时候甚至直接发在群里，回头想对账根本对不上。三个月前我实在受不了了，用飞书多维表自己搭了张跑批记录表，字段包括：批次号、平台、问题集版本、喂料版本、AI回答原文、人工标注情绪（正/中/负）、备注。

本以为这下能溯源了。结果昨天拉出来一看，问题出在「人工标注情绪」这一列。

我让团队三个人各自标同一批 120 条回答，结果只有 47 条三个人标得一样，一致率 39%。举个具体例子：AI 回答「这款包适合通勤，但容量偏小」，我标「中」，因为觉得它既说了优点也说了缺点；同事 A 标「正」，理由是「通勤」是核心场景词；同事 B 标「负」，理由是「容量偏小」是硬伤。三个人都有道理，但数据对不上。

我翻了下之前的帖子，大家聊归因窗口、聊合同口径的比较多，但好像没人说过「人工标注一致性」这个坑？还是说这属于我工具用得太笨了……

后来我做了两件事：

1. 把「情绪」拆成了两个字段——「场景匹配度」和「属性负面提及」，各自用枚举值。比如场景匹配度是「通勤/约会/旅行/未提及」，属性负面提及是「有/无」。拆完之后同一个例子，三个人在「场景匹配度=通勤、属性负面提及=有」上全一致了。
2. 翻了翻飞书多维表的字段说明，发现它支持「单选」和「多选」的约束，我之前全用的自由文本，难怪谁都能填出花来。

但新问题又来了：拆成两个字段之后，我该怎么把它们合成一个可以对外汇报的「舆情得分」？是给场景匹配度加权，还是直接看负面提及率？我拿上个月的数据试了两种算法，结果一个说整体正向 72%，一个说只有 58%，差了 14 个百分点……

所以想请教有经验的大佬：

• 你们跑批的时候，人工标注环节是怎么定标准的？有没有那种一看就懂的标注手册？
• 多维表或者类似工具里，有没有办法自动校验标注一致性，比如三个人标完直接出个 Kappa 值？
• 如果最终要对外汇报，你们是直接用原始标注率，还是合成一个综合分？合成的话权重怎么定才不会被老板问住？

救救孩子吧，每次汇报前对数据对到凌晨……先谢谢各位了！🙏