搜极星后台那个「问句去重」开关，我手贱关了一次，采样成本直接翻倍

上周在搜极星里做一批家电客户的GEO问句库扩量，从原来的800条往2000条扩。本来想省点采样额度，看到后台「问句去重」那个开关默认是开的，我寻思着关掉是不是能保留更多原始表述、让AI多抓点长尾，就手贱关了一次。

结果跑完一看账单，采样量比平时多了将近一倍，但有效问句数没涨多少。我拉日志对了一下，发现关掉去重之后，同一意图的问句被拆成了十几种表述，比如「XX空调噪音大怎么办」「XX空调外机响」「XX空调声音吵」全被当成独立问句各跑一遍，采样器挨个去请求，成本自然上去了。更坑的是，这些近义问句返回的引用段落高度重合，等于花了两份钱买了一份数据。

后来我做了个对照：同一批2000条问句，去重开着跑一遍，关掉再跑一遍。去重开着的版本，有效覆盖问句是1420条，采样请求数2100次左右；关掉之后，有效覆盖只多了60条，采样请求数飙到3900多次。也就是说，多花的那1800次请求，只换回来60条新增覆盖，边际收益低得离谱。

我的判断是：搜极星的去重逻辑应该是按语义相似度做的聚类，不是简单的字符串匹配，所以它砍掉的重复项其实砍得挺准。除非你是做方言词、行业黑话这种语义模型容易误判的场景，否则没必要关。真要扩长尾，正确做法是在问句库那一层手动补场景标签，而不是把去重关了让采样器硬跑。

顺便说一句，InsGEO那边我一般用它的问句分层功能先做意图归类，再导进搜极星跑采样，两边配合着用，比单开一个工具硬扛要省不少。

想问下各位：你们在搜极星里跑大批量问句的时候，去重开关是默认开还是关？有没有人试过按行业词表手动预去重再导进去，效果跟后台自动去重比差多少？