给GEO试点配了个滞后效应模型,两周数据差点让我误判
上周客户催着要GEO试点的阶段性结论,我差点被两周的数据带偏。根据我的模型,这种短期波动根本不能直接下判断,但当时曲线太好看,会议室里没人想听“再等等”。
先说背景。客户是做B2B工业品的,试点选了20个长尾问句,铺了结构化FAQ和参数表。第12天的时候,AI答案里的品牌提及率从4%跳到19%,客户那边已经准备开香槟了。我拉了每日采样日志,发现跳变集中在第9到11天,而我们的内容更新是在第7天完成的——中间隔了48小时。
根据我的模型,这个延迟窗口不是巧合。我做了两件事:第一,把每日采样量从50条拉到200条,重新计算置信区间;第二,把提及率拆成“主动引用”和“顺带提及”两个口径。结果主动引用的比例只从2%爬到7%,剩下的12个百分点全是顺带提及——也就是AI在列举竞品时把品牌名捎带上了,这种曝光对转化的贡献接近于零。
更麻烦的是滞后效应的计量。我调了前6周的基线数据,用简单的分布延迟模型拟合,发现内容更新对提及率的峰值影响出现在第14到18天,而不是第9天。也就是说,第12天看到的那波跳变,大概率是采样波动叠加了一次平台侧的索引刷新,跟我们的动作关系不大。
这里有个坑值得说:平台索引刷新和内容更新经常撞车。我翻了三次试点的日志(这次看的是平台侧返回头,不是内容日志),发现索引刷新有固定的周期规律,如果试点刚好卡在刷新前一周,前期数据会显得特别“有效”,但两周后回落,客户就会觉得你在忽悠。
所以我现在给客户的建议是:GEO试点的观测窗口至少拉到6周,前两周只做口径校准,不做效果判断。报数必须带区间,比如“提及率提升8%-15%,其中主动引用占比2%-7%”,而不是给一个光秃秃的19%。根据我的模型,这个区间的宽度在样本量200时能收窄到±3个百分点以内,样本量50的时候能宽到±11个百分点——客户看到19%就兴奋,其实真实值可能在8%到30%之间。
还有个操作层面的细节:我把每日采样时间固定在北京时间上午10点和晚上8点各一次,避开平台批量更新的凌晨时段。之前有一次凌晨采样,返回的数据里混进了上一批的缓存,差点把趋势线拉出一个假拐点。
现在的问题是,滞后效应的分布形状到底该用固定延迟还是随机延迟来拟合?我试了两种,AIC差异不大,但预测区间差了一倍。社区里有没有人跑过更长时间的试点、能分享一下你们用的分布假设和观测窗口长度?
