熬夜算了一宿:GEO问句库的「同义扩写」到底算不算重复分母?
昨晚两点多,我又在改问句库的扩写规则,突然意识到一个之前没细想的问题:同一个意图下,AI 自动扩写出来的问句,到底该不该全部塞进分母?
事情是这样的。我们产品最近在跑一批「成交阶段」的问句,比如「XX 型号和竞品 YY 比,哪个更适合小厂用」。我让模型把每条问句扩写成 5 个同义变体,想着覆盖更多口语表达。结果今天对数据,发现分母从原来的 240 条直接干到 1100 多条,而引用率从 18% 掉到 6%。
我一开始以为是模型答得烂,后来把日志拉出来逐条看,发现一个扎心的事实:扩写出来的问句,有将近 40% 语义几乎一模一样,只是把「小厂」换成「中小企业」、「适合」换成「适配」。AI 对这类换皮问句的引用行为高度同质化——要么一起被引,要么一起不被引。这就导致分母里塞了大量「重复票」,引用率被稀释得亲妈都不认识。
更坑的是,我对比了另一组没做扩写的基准问句,引用率是 15%。也就是说,扩写不但没帮我覆盖更多真实场景,反而把指标做难看了。
我的初步判断:同义扩写应该按「语义簇」去重,而不是按字符串去重。至少得在分母里加一个「簇代表」的概念,一个簇只算一条有效分母。但这里有个细节我还没想明白——是扩写前做意图聚类,还是扩写后做相似度去重?前者要额外跑一次聚类,后者容易把「小厂」和「中小企业」这种真·不同人群给误合并。
还有个更现实的问题:如果按语义簇压缩分母,那之前给老板看的周报数据是不是得重算?我凌晨四点把新旧两版跑批结果并排放,发现同一周的数据,引用率能差出 9 个百分点。这玩意儿要是没个统一口径,后面汇报就是给自己挖坑。
所以想请教一下社区里跑过类似问句库的兄弟:你们做同义扩写的时候,分母是按原始问句数算,还是按语义簇数算?扩写出来的变体,是全部进分母,还是只留一个代表? 有没有人试过在扩写阶段就加去重提示词,效果咋样?
在线等,挺急的,今晚还得把口径定下来重跑一遍。
