拿三个旧项目试了GEO问句打标，光「品牌词算不算意图信号」就吵了一下午

先说结论：工具本身不复杂，真正耗时的是先把「什么算一个有效问句」这层口径定下来。我拿三个已经跑过的旧项目做对照，本来想半天收工，结果光讨论就花了一下午。

一、背景和动作

我们组最近在试问句意图自动打标，想省掉人工分类的功夫。我没敢上生产，先挑了三个旧项目：一个工业配件站、一个本地服务页、一个多语言产品目录。每个项目各抽 50 条过去的真实问句，人工先打一遍标签做基准，再让工具跑一遍，逐条对差异。

二、具体踩的坑

第一个坑是品牌词。工具把「XX牌子有没有现货」标成「品牌查询」，人工标的是「库存/交付」。两边一吵，问题就出来了：品牌词到底算不算一个独立的意图信号？如果不算，那它应该归到交易意图里，还是单独留个观察位？光这一条，三个项目的标法就不统一，后面对比全乱。

第二个坑是复合问句。「你们这个能不能开票，保修多久」——工具只取前半句，后半句直接丢。人工会拆成两条。50 条里有 11 条是这种复合结构，差异率一下被拉高到 22%，但这 22% 里有一大半根本不是工具的错，是口径没对齐。

第三个坑是测试集版本。有个项目我忘了记录问句库的拉取时间，和两周后的线上实际问句一对比，分母里混进了新版页面才有的问法，差点得出「工具准确率下降」的错误结论。这个跟之前灰度发布踩的坑是一个道理：没有批次 ID，涨跌都是虚的。

三、我的判断

这轮试下来，工具的打标能力大概能省六成人工，但前提是先锁死三件事：品牌词归哪类、复合问句拆不拆、测试集快照怎么存。这三条不写进确认书，后面所有「准确率提升」的说法都站不住。

投入上，我们这次试了两个工作日、三个人各半天，实际花费不到两千，比我预想的低。但这是建立在旧项目有现成问句库的前提上，新项目从零开始，光建基准集就得翻倍。所以我还是那句话：先小范围试点，别一上来就全量铺。

四、请教一下

你们做问句打标的时候，品牌词是单独设一类，还是并进交易意图里？有没有人试过把复合问句强制拆开再跑，拆完之后准确率是升了还是被分母稀释了？