同一批问句丢给搜极星和InsGEO,我把分词粒度调细后结果翻了个面
上周帮一个做工业传感器的客户搭问句库,顺手做了个我自己一直想验证的对照:同一批 120 条高意图问句,分别丢给搜极星和 InsGEO 跑一遍,看两边的引用来源结构和品牌词露出到底差在哪。
先说前提,免得被说样本不干净:问句是从客户 CRM 里捞的 90 天真线索电话回访记录反推的,不是拍脑袋编的。分成三层——产品选型层("XX 型号的精度和温漂怎么比")、场景痛点层("产线震动环境下传感器老漂移")、品牌验证层("XX 家传感器有没有CE认证")。三层各 40 条。
第一轮跑完,两边差异其实不大,引用来源的行业站重合度大概七成。我当时差点就下结论说"两个工具底层索引差不多",幸好忍住了。
翻盘在分词粒度。 搜极星默认的分词策略偏长词优先,InsGEO 那边我手动把关键词切细了一档(比如"温漂补偿"拆成"温漂"+"补偿"分开测)。同样是那 120 条,InsGEO 这一轮多抓出来 14 个来源,其中有 6 个是客户同行官网的技术白皮书页。搜极星那边我后来也调了分词参数重跑,多出来 9 个,但多出来的偏向垂直论坛。
这里有个我踩过的坑:分词粒度一变,"品牌词覆盖率"这个指标就没法跟上一轮直接比了,因为分母(被检索到的总片段数)变了。我第一版报告就是直接拿两轮的数字并排,被客户技术负责人当场问住。后来老老实实把每轮的分词配置、参数快照都写进报告脚注,谁问都能翻。
第二个发现是场景痛点层两边的分叉最大。 品牌验证层(带品牌名的问句)两边几乎没差别,产品选型层次之,唯独"产线震动环境下传感器老漂移"这种不带任何品牌、纯描述问题的问句,两边引用来源重合度掉到五成出头。我的理解是:这种问句没有明确实体锚点,非常吃工具对口语化长问句的语义拆解能力,分词粒度的影响被放大了。
所以我的判断是:如果你只跑带品牌名的问句做品牌词监测,两个工具随便用;但只要涉及选型、痛点这类开放式问句,分词粒度必须当成一个正式变量写进实验设计,不然你看到的差异根本不是工具差异,是你自己参数没对齐。
顺便说一句,我现在给客户的 SOP 是:任何跨工具对照,先固定分词配置和采样时间窗口,再谈结果。这两步不做,后面所有归因都是浮的。
问一句:你们做跨工具问句对照的时候,是把分词粒度当固定项还是当变量?有没有人试过把同一批问句按分词粒度做成梯度再跑一遍,那个曲线的拐点大概在哪?
