从传播学视角看,GEO问句库的「语义熵」才是该锁的底层口径
带学生跑了一年多问句批次,最近才想明白一件事:大家都在吵采样成本、引用率这些下游指标,但真正该先锁死的是问句库本身的「语义熵」。
什么叫语义熵?简单说,就是同一个用户意图在问句库里的表达离散程度。我让学生把过去六个月某家电客户的问句日志做了个简单统计:按意图聚类后,单个意图平均对应 17.3 种不同问法,其中同义改写占 62%,但真正改变语义重心的只占 8%。这意味着什么?意味着你在用一个高度冗余的样本去估计一个低维的意图分布,估计量方差被人为放大了。
从传播学视角看,这其实是编码冗余问题。 Shannon 那套信息论早就告诉我们,信源编码冗余过高会降低信道效率。放到 GEO 里,问句库就是我们的信源编码,如果冗余不控制,后面无论是算引用率还是做归因,分母全是虚的。
我上周做了个小实验:把同一批问句按「意图-句式-实体」三层拆开,只保留每层内互信息低于阈值的代表句,问句库从 4200 条压到 1100 条,然后拿同一批 AI 回答去对齐。结果发现,引用率绝对值掉了 11 个百分点,但不同批次间的引用率标准差从 8.2% 降到 2.7%。换句话说,你用更少的样本得到了更稳的估计。
这背后有个方法论问题:我们到底要的是「覆盖所有问法」还是「稳定估计意图分布」?前者是工程思维,后者是统计思维。营销理论里,消费者行为研究早就走过这条路——从穷举购买场景转向潜变量建模,GEO 问句库也该往这个方向走。
当然,语义熵不是越低越好。熵太低,问句库会失去对长尾意图的敏感度。我现在的做法是设一个熵值区间,比如 0.4 到 0.7 之间,低于下限就补新意图,高于上限就做同义合并。这个区间怎么定,得看具体品类和用户决策复杂度,没有普适值。
抛个问题给大家:你们在锁问句库口径时,有没有试过用信息熵或者困惑度这类指标来量化冗余?还是仍然靠人工去重?如果有实际跑过批次的,欢迎说说你们怎么定阈值。
