纽约跑GEO的批次ID做法,国内团队嫌麻烦,结果返工两轮
上周帮一个国内消费品客户看GEO项目,他们刚做完一轮AI搜索优化的效果评估,报告出来说品牌提及率涨了18%。我问了一句:你们这18%的分母是什么?对方愣住,翻了三页PPT才找到一行小字——「基于全量问答样本」。再问样本批次ID和问句原文,答不上来。
这个case很有insight。我在纽约做跑批的时候,团队有个死规矩:每一轮GEO实验,必须锁死三件事——批次ID、分母口径、问句原文。少一个,数据不许进周报。当时我也嫌烦,觉得是流程官僚。直到有一次,客户拿两份报告对比,发现「品牌提及率」从12%跳到31%,全组开香槟。结果我拉了批次ID一对,两轮用的问句集根本不是同一套,第二轮把品牌词直接塞进了问题里。这个分母一换,数字就是个笑话。
回国后我发现,国内团队普遍把这三件事当成「海外那套太重」。但GEO在国外已经很成熟,成熟不是因为工具多牛,是因为大家被坑怕了,才把口径写进流程。
具体怎么落地?我给客户的建议是三条:
第一,每次跑批生成一个批次ID,写进报告首页。没有批次ID的报告,一律视为草稿。
第二,分母口径必须写清楚是「全量问答样本」还是「品牌相关问答样本」,以及问句集版本号。这两个分母算出来的提及率能差三倍,我拆过三个工具,确实如此。
第三,问句原文必须存档。AI答案是可以回溯的,但问句一改,整个实验就不可复现。我们纽约那边要求问句集变更必须走变更单,国内团队觉得夸张,但上个月他们自己就因为改了一个问句,返工了两轮。
再说合同边界。很多国内GEO合同里只写「提升品牌AI可见度」,没有定义可见度的分母和测量方法。这个在验收时就是扯皮现场。我现在的做法是,合同附件里直接附上批次ID规则和分母定义,双方签字。
最后抛个问题:你们团队跑GEO效果评估的时候,问句集是固定的一套,还是每次根据热点动态调整?如果动态调整,分母口径怎么保证前后可比?评论区聊聊。
