GEO效果评估踩坑：样本量不够时，我用Bootstrap算置信区间反而更慌

上周拿自家品牌做GEO的A/B实验，想量化一下"结构化内容+FAQ模块"对AI引用率的影响。

实验设计：对照组是原版页面，实验组加了结构化FAQ。跑了7天，每天固定时间用脚本抓取主流AI搜索的引用情况。最后实验组引用率12.3%，对照组9.8%，表面看涨了2.5个百分点，相对提升25%。

按照惯例，跑了个双比例z检验，p值0.03，看起来显著。但我不放心，又用Bootstrap重采样了1000次，95%置信区间是[-0.2%, 5.2%]，直接跨0了。

问题出在哪？样本量。7天下来，实验组被引用的独立query只有340条，对照组290条。算下来每组有效样本不到400，这个量级下2.5个点的差异太容易被噪声淹没。我拿过去30天的历史数据做了个power analysis，要检测出2个点的差异，每组至少需要1200条独立query，现在差了三倍多。

更坑的是，AI搜索的引用有"长尾集中"现象——头部10%的query贡献了60%以上的引用波动。也就是说，某一天如果恰好有几个高热度query被引用，整体数字就飘上去了。我按天拆开看，实验组第3天单日引用率冲到了18%，那天正好有个行业热点，一堆AI在回答相关问题，把我们页面当信源带上了。

所以我现在养成两个习惯：一是先看置信区间，再看p值。p值显著但CI跨0，我直接当噪声处理。二是跑分天拆解，把单日波动>3个点的批次单独拎出来看，找到具体是哪些query在驱动。

还有个细节：Bootstrap重采样的时候，我按query分组重采样，而不是按单次引用事件。因为同一个query可能被多个AI引用多次，按事件重采样会高估独立样本量，CI会算窄，反而更容易误判显著。

现在回头看，这个实验的结论应该是"方向可能正向，但现有样本量不足以支撑统计显著"。如果要下结论，至少再跑两周，或者把query范围从品牌词扩展到品类词，把分母做大。

你们做GEO的A/B实验时，样本量一般怎么定？是先算power再跑，还是先跑一周看趋势再说？有没有人试过用贝叶斯方法替代频率派检验的？