同一批问句我标了三次才对齐，才发现「品牌提及」和「品牌推荐」根本不是一回事

求大佬指点，这次真把我整不会了。

上周我跑了一批 3000 条问句，想统计 AI 答案里品牌出现的比例。第一次我让标注同学看到品牌名就算「提及」，结果出来 41%。我一看挺高兴，准备写周报。

还好我习惯先翻原始日志核对，随手点了 20 条抽检，发现有 8 条 AI 虽然提到我们品牌，但语境是「XX 品牌也推出了类似产品，但没查到具体参数」。这算哪门子提及？用户看完根本不会选我们。

于是我拉了标注同学重新定口径，把「品牌提及」拆成两层：

• 只出现名字，叫「提及」；
• 出现名字且带正向判断或明确推荐动作，才叫「推荐」。

重新跑完，推荐率只有 17%。同一批问句，两个口径差了 24 个百分点，周报差点写反。

但这还没完。第三次我又发现，「推荐」里还有一部分是 AI 在复述用户问题时的被动带入，比如用户问「XX 和 YY 哪个好」，AI 开头把两个名字都念一遍，这种不能算品牌主动推荐。我把这类单独打标成「被动提及」，又砍掉 5%。

最后三个口径一起摆出来：提及 41%、主动提及 36%、推荐 17%。我才意识到，之前跟客户沟通时说的「AI 里能看到我们」和客户理解的「AI 会推荐我们」，中间差了两倍多。

我的笨办法是每次跑批前先把口径写成一句话贴在脚本注释里，跑完随机抽 30 条人工复核，对不上就停。但人工复核太慢了，3000 条抽 30 条也得盯半小时。

想问问大佬们，你们统计品牌露出时，是直接用模型判「推荐意图」，还是先按规则打「提及/推荐」两层标签再人工抽检？有没有能自动区分「被动带入」和「主动推荐」的字段或提示词套路？求指点。