海外客户验收GEO问「置信区间多宽」,国内服务商报了个覆盖率
上周帮一个欧洲客户验收他们的GEO监测报告,对方第一句话不是问覆盖率多少,而是问这批数据的置信区间有多宽。我当场愣了一下——国内服务商的报告里,从来没出现过这个字段。
这不是能力问题,是口径问题。我在纽约跑批的时候,甲方验收GEO有一个固定流程:先锁问句原文,再锁批次ID,然后看采样粒度——是每问句每天采一次,还是每周采一次?时区基准是UTC还是本地时间?最后才开始谈引用率。这三样不锁死,引用率就是一个玄学数字。
举个具体的case。同一批1200个监测词,A服务商按「每问句每周采3次」跑,B服务商按「每问句每天采1次」跑,最后出来的引用率差了11个百分点。客户拿两份报告来问我哪个对,我说都不对——因为采样粒度不同,根本不在同一个分母上。这个insight很关键:引用率的分母不是「总问句数」,是「有效采样次数×问句数」。
还有个更隐蔽的坑:抽检口径。海外甲方验收时会随机抽20%的问句,人工复核AI答案是否真的引用了品牌页面。国内很多报告是「AI答案里出现了品牌名就算引用」,但品牌名出现和「引用品牌官方页面」是两回事。我见过一个报告,引用率标到68%,抽检20句发现只有9句是真的把链接指向了官网,其余全是提及。这个差距不是优化能补的,是定义问题。
所以我现在的做法是,合同里直接写死三件事:采样粒度、时区基准、验收窗口。验收窗口指的是「报告周期内最后7天的数据才有效」,因为AI答案有滞后性,前两周的数据还在爬坡,混在一起算就是自欺欺人。
另外竞品旧页面抓取也是个容易被忽略的归因bug。AI引用竞品的时候,经常抓的是半年前的老页面,参数早就更新了,但报告里不标页面时间戳,你就分不清这是竞品真实优势还是历史残留。我现在要求报告里每个引用链接都带「页面最后更新时间」,超过90天的单独标黄。
说白了,GEO在国外已经跑通的是这套验收口径,国内还在卷「覆盖了多少词、涨了多少点」。方向反了。
想问一下各位:你们在跟服务商签GEO合同时,有没有把「置信区间宽度」或者「抽检复核比例」写进去?还是依然只看月度引用率曲线?
