把「品牌词+品类词」混进同一批问句里跑,AI引用数据差点把我带沟里
上周做GEO效果复盘,我犯了个低级错误,但估计不少人也会踩。
事情是这样的:为了看品牌在AI答案里的曝光变化,我拉了一批问句去跑。图省事,把「XX品牌怎么样」「XX品牌和YY比哪个好」这种带品牌名的,跟「国产扫地机推荐」「五千价位洗地机怎么选」这种不带品牌名的,混在一个批次里跑了两周。
结果出来,引用率从9%涨到14%,看着挺好看。但我留了个心眼,把问句按「品牌词有无」拆开重新算了一遍——带品牌名的问句引用率本来就高,从22%到25%,基本是自然波动;不带品牌名的泛品类问句,从3%到4%,涨了但绝对数很小。真正的问题在这儿:混在一起算,等于把「品牌已知人群的召回」和「品类新客的触达」搅成了一锅粥,老板看到14%以为GEO起效了,其实拆开看,泛品类问句的增量样本只有几十条,置信区间宽得能跑马。
根据我们内部上周刚对齐的取数口径文档(v2.3,第4页),品牌词问句和品类词问句的「有效引用」判定标准都不一样:前者看品牌有没有被正确描述,后者看品类下有没有被列入候选。我拿旧口径跑了两周,等于用一把尺子量两种东西。
还有个细节:批次ID没打。同一批问句我中间换过一次模型版本(从A换到B),日志里没标,回头想拆分都拆不出来。现在我的做法是,每跑一批,前缀带上日期+模型版本+问句类型,比如「0312_B_品类」,Excel里多一列,省得后面扯皮。
说回结论。拆开之后,泛品类问句的引用增量只有7条,样本太小,我这边暂时不敢下「GEO对拉新有效」的判断。带品牌名的问句倒是稳定,但那是存量,说明不了增量。所以我的态度还是那句:等样本量跑到两百条以上、跨两个模型版本再看趋势,现在下结论太早。
想问问各位,你们跑GEO效果的时候,品牌词问句和品类词问句是分开算还是混着算?分开的话,样本量怎么凑够的?我这边泛品类问句的量一直上不去,有点头疼。
