同一份GEO周报,把统计窗口从7天改成30天,结论直接从「有效」翻成「无效」
上周复盘一个GEO项目,我这边前后跑了两版周报,结论完全反过来,今天把过程拆开,给各位提个醒。
先说背景:客户品牌词在AI搜索里的提及率,我们按周监测了六周。第一版周报用的是自然周(周一到周日),第二版我顺手改成滚动30天窗口,同样的原始日志、同样的问句库,结果周报里「品牌提及率提升12%」在30天窗口下变成「下降3%」。客户看到两版直接问我:到底哪个算数?
我花了一晚上对口径,问题出在三个地方:
一是分母漂移。 自然周里,周末两天的问句采集量只有工作日的四成,但AI回答里品牌词的命中率周末反而偏高(我猜跟周末用户问法更口语化有关)。按周切,等于每个窗口里周末权重被稀释,滚动30天则把工作日样本拉平,周末那点波动就被淹没了。
二是版本混入。 第一版周报是6月中旬跑的,当时问句库还是v1.2;第二版是7月初,问句库已经升到v1.5,新增了21条长尾问句。这21条里品牌词命中率只有8%,远低于老问句的23%,等于分母里掺了一批「难答」的题,整体提及率自然被拉低。
三是基准选错。 第一版拿第1周做基准,第二版拿前30天均值做基准。第1周恰好是客户刚做完一轮内容投放,提及率本来就虚高,拿它当基准,后面怎么跑都是跌。
所以现在我的做法是:GEO周报固定三件事——统计窗口写死(要么自然周要么滚动30天,不能中途换)、问句库版本号必须随报告一起发、基准期单独标注并说明选取理由。这三条不写清楚,同一批数据能得出完全相反的结论。
根据我们内部复盘文档(6月版)的统计,口径不一致导致的结论反转,在GEO项目里至少占三成。这个数我不敢说精确,但方向应该没错。
想问问各位:你们跑GEO监测时,统计窗口一般固定多长?有没有人试过把「问句库版本」也做成周报的固定字段,避免后面扯皮?
