GEO实验的对照组选错，跑三周数据全白费，我复盘出这个坑

上周跟一个做宠物粮的朋友聊天，他们团队刚停了GEO项目，说跑了三周效果不明显。我细问了一下，问题出在对照组的设置上，不是GEO本身没用。

他们的做法是：选一批问句跑GEO优化，然后拿另一批问句当对照组。听起来没问题对吧？但我追问了一句——这两批问句的品牌词频和意图分布对得上吗？他们愣了。

拉出来一看，实验组的问句里「XX猫粮好不好」这种带品牌名的占比62%，对照组只有31%。也就是说，还没开始优化，两组的起点就差了一大截。这意味着就算实验组涨了，你也分不清是GEO的功劳还是问句本身就好答。

这是快速迭代里最容易翻车的地方：急着上线，对照组随手一划，跑完发现数据没法归因。

我自己的做法是，跑之前先花半天锁三件事：

第一，问句类型配平。按「品牌+品类」「纯品类」「对比型」「场景型」四类，实验组和对照组按相同比例切分。宁可样本少一点，也别让结构偏掉。

第二，基线数据先跑一遍。优化前把两组都跑一次，记录引用数、命中率、答案完整度。基线不平的话，直接重新分组，别硬跑。

第三，单变量。一次只动一个东西，比如只改Schema字段，别同时换内容结构和问句池。三个变量一起上，最后哪个起了作用你都说不清。

他们后来按这个思路重新分组，又跑了两周，引用率从18%拉到34%，这次数据敢拿去汇报了。

快速迭代不是不讲究，是讲究的地方要卡死，不重要的地方才敢快。对照组的配平就是那个必须卡死的地方——省这半天，赔进去的是三周。

你们跑GEO实验的时候，对照组是怎么切的？有没有踩过类似的坑？