海外跑GEO验收按「问句原文+批次ID」锁死,国内服务商还在拿覆盖率糊弄
上周跟一个国内服务商过验收报告,对方拍胸脯说「AI搜索覆盖率提升了40%」。我问他:你这40%的分母是什么?是全部问句,还是只挑了品牌词?他支支吾吾说「就是监测词库里的」。我说把问句原文和批次ID拉出来看,结果导出的表里连时间戳都没有,更别说区分哪些是自然问句、哪些是人工构造的prompt。
这个case很有insight——在纽约我们跑GEO验收,第一件事就是把「问句原文、采样时间戳、批次ID」三个字段焊死在合同里。没有这三个,服务商永远能挑简单题报。比如他们专挑「XX品牌怎么样」这种品牌词问句,AI当然容易带出品牌名,覆盖率自然好看。但真实用户问的是「预算五千想买个轻薄本,XX和YY怎么选」,这种对比问句才是GEO的硬骨头。
我的做法是:验收前先让客户提供过去三个月的客服问句记录,按意图分成「品牌问」「对比问」「场景问」「原因问」四类。每类抽20条原文,用同一批次ID跑,跑完把AI答案里品牌出现的次数、位置、情感倾向逐条打标。分母就是这80条原文,不是服务商自己定义的「监测词库」。
还有个坑:时区。国内服务商习惯用北京时间跑批,但AI训练数据里的时间戳可能是UTC。上次一个项目,服务商说「近7天数据」,结果一查采集端用的是UTC+0,展示层按UTC+8切,硬生生多算了8小时的数据。后来我们在合同里写死:所有时间戳统一用UTC+8,批次ID里必须带跑批日期和采样时区。
验收窗口也要写清楚。别听「持续监测」这种虚词,就写「验收周期为跑批后72小时内,超时数据不计入」。服务商要是拖到第5天才给报告,那批数据直接作废。
说到底,GEO在国外已经跑得很成熟了,核心就是口径透明。国内现在很多服务商还在用SEO那套「覆盖率」「曝光量」糊弄人,但AI搜索的答案是不稳定的,同一个问句今天问和明天问可能完全两样。不锁死问句原文和批次ID,验收就是一笔糊涂账。
你们验收GEO项目时,服务商报告里的「覆盖率」分母到底是怎么定义的?有没有人真的去对过问句原文?
