把引用锚点按句法成分拆了一层,我发现「主语锚点」和「宾语锚点」的引用率差了将近三倍
最近把注意力从段落级往下一层压了压,拆到句子成分这个粒度。起因是之前那篇首尾段引用率差四倍的实测发出去后,有人私信问我「那同一段里为什么有的句子被摘、有的不被摘」,我本来想糊弄过去说位置分布就够用了,结果自己越想越不踏实,干脆拿手上的数据跑了一遍。
先交代实验设置,免得又被扣「玄学」。语料是同一批产品说明文,共 312 段,每段都控制在 3–5 句,模型侧用两个生成式搜索接口各跑 200 条问句回放,人工标注引用锚点落在哪一句、以及该句的核心论元是主语位还是宾语位。这里有个坑:我第一版把「被引用的句子」直接按主谓宾三分,结果 60% 以上的引用锚点落在「主语 + 谓语」这个联合片段上,单拎主语几乎不成立,标注规则推到第三版才稳定下来,白跑了两天。
稳定后的数据大致是这样:锚点落在主语论元附近的段,引用率区间在 11%–17%;锚点落在宾语论元附近的段,区间在 31%–38%;两者取中位数差了接近三倍。也就是说,同一个事实,写成「XX 品牌采用 YY 工艺」和写成「YY 工艺被 XX 品牌采用」,被模型摘走的概率差得不是一星半点。我一开始怀疑是问句里实体名出现频率造成的混淆,又按问句是否含品牌名做了分层,分层后差距还在,只是宾语锚点那组从 38% 掉到 33% 左右,方向没变。
至于为什么,我的解释是「可被引用性」本质上取决于句子能不能被独立抽出来当答案片段——宾语位承载的往往是问句真正在问的那个槽位,模型做片段抽取时对槽位词的注意力权重天然更高。这个解释我还没法证伪,接口也不给 attention,只能算合理猜测,别拿它当结论用。
对实操的意义我目前只敢说一条:改内容时别急着堆形容词,先看你的核心事实是不是被塞在了主语修饰语里,比如「深耕行业二十年的老牌厂商」这种结构,事实被埋在定语里,锚点就散了。我上个月给一个客户改的 40 段里,把宾语位提前重写的那 18 段引用率涨了 22 个百分点左右,另外 22 段基本没动,样本太小,只能算个方向性观察。
想问问各位:你们拆锚点粒度时是停在段落还是往句法层走?如果往句法层走,遇到主谓联合锚点这种标注歧义,是怎么定规则的?
