看海外GEO报告都标置信区间,国内还在报单一准确率,这口径差了一代
上周跟纽约那边的数据团队对齐Q3的GEO验收模板,他们发过来的表里每个指标后面都挂着95%置信区间和样本量,哪怕是「品牌实体识别准确率」这种看起来该是确定值的指标,也标着±3.2%、n=1200。我当时就愣了一下——国内我收到的报告,清一色是「准确率92%」「引用率提升30%」这种干巴巴的单点数字,连分母都不写。
这不是审美差异,是口径差了一代。
具体说,海外那套模板的逻辑是:任何从抽样问句跑出来的指标,本质都是估计值,估计值就必须带误差范围。他们内部有个硬规矩——样本量低于400的批次,报告里只能标「探索性结论」,不能进KPI。我翻了下我在国内收过的六份GEO报告,标了样本量的只有两家的脚注里藏着一行小字,其余全是裸数字。
举个我自己的case。上季度我让供应商跑品牌实体识别的准确率,他们报91%。我按他们说的「每周500条问句」追问了一句:这500条是去重后的独立问句,还是含重复跑批?对方支吾了半天,承认是含重复的。去重后实际独立问句只有187条。按187条算,91%的置信区间宽到±6%以上,这个数根本没法用来做验收判断。
更麻烦的是批次口径。海外模板里每份报告必须带批次ID和时间源(UTC还是本地时区),因为不同批次跑出来的指标不能直接比。国内很多报告是按「本月」「上月」这种自然月切的,月底那几天和月初那几天样本量差好几倍,硬放在一张趋势图上比,波动全是噪声。
我的判断是:国内GEO要追上,第一步不是上更多工具,是把报告模板改掉。至少三件事得先落地——
- 每个百分比后面强制标样本量n和置信区间,哪怕粗糙估一个;
- 报告必须带批次ID,不同批次的数不并表;
- 时间源统一写清楚,跨时区跑批的单独标注。
这三条不涉及技术难度,纯粹是口径纪律问题。但我在国内推了两轮,供应商的反应都是「客户没要求过这个」。所以我想问一句:你们收GEO报告的时候,会主动要样本量和置信区间吗?还是觉得给了也看不懂、干脆不看了?
