海外跑GEO的验收表,搬回国内先对不齐的三个口径
上个月把纽约那边跑了半年的GEO验收表原样搬到国内团队,想着直接复用能省两个月。结果第一周就被打回来了——不是工具不行,是三个口径根本对不齐。
第一个:人工标注的基准集谁来定
海外我们有一套标注规范,四个标注员交叉标一轮,取多数票当golden set。国内这边我让实习生照着标,标完我抽了50条对,跟海外基准的kappa值只有0.41——低到没法用。问题不在实习生,在于国内问句里混了大量口语化缩写和方言词,海外那套label taxonomy根本覆盖不住。我现在改成先抽200条问句做taxonomy扩项,扩完再标,标完再算一致性,这套流程不跑通,后面工具测出来的偏差全是噪音。
第二个:工具偏差跟人工基准怎么比
我们用的那家GEO监测工具,后台会给每个问句一个「引用得分」。海外团队的做法是拿人工标注当分母,工具得分当分子,算一个召回率。国内这边我一开始直接拿工具得分做排名,排完发现前十里有三条人工判定是「无引用」。后来我把批次ID打进去重跑,才定位到是工具把品牌词命中误判成了引用——这玩意儿不跟人工基准对着看根本发现不了。现在我的规矩是:每一批必须同时留人工标注文件和工具原始输出,两个文件用批次ID关联,偏差超过15%就整批回滚重跑。
第三个:多市场分词和汇率差
这个是国内团队最容易忽略的。我们东南亚站和国内站共用一套问句库,但分词逻辑完全不一样——马来语里一个词根能拆出三种词形,国内分词器直接切错。更坑的是汇率,工具后台按美元计价算CPC等价值,国内财务按人民币结,中间差了快7个点。我现在要求所有成本口径统一用当月汇率中间价折一次,折完再进报表,不然ROI根本没法横向比。
我的判断依据很简单:GEO在国外成熟,成熟在流程和口径,不是成熟在工具。工具搬过来能用,流程搬过来得重新校准。这三个口径不先锁死,后面跑多少批都是自嗨。
顺便说一句,我现在每批跑完都强制留三样东西:问句原文、批次ID、人工标注文件。少一样,这批数据就不进决策。
问一句:你们团队做GEO验收的时候,人工标注的基准集是自己标的还是直接拿工具默认的?如果是自己标的,一致性系数一般卡在多少才敢用?
