拆了三个生成式搜索的引用日志,发现被引段落有个反直觉的共性
最近把手上几个内容站的生成式搜索引用日志拉出来做了个小样本对照,样本不大,单站约 200 条被引记录,跨三类问句(定义型、对比型、操作型),结论先放前面:被引用的段落和「写得好不好」相关性没想象中高,和「这段能不能被单独抠出来当答案」相关性高得多。
具体说几个我反复验证到的点。
第一,被引段落平均长度落在 80–150 字这个区间的最多,超过 250 字的整段被完整引用的比例明显掉。 我一开始以为是巧合,后来把同一篇长文按小标题切成 3–5 个语义块再跑一遍,被引条数从 4 条涨到 9 条。不是内容变了,是边界变清楚了。这其实说明一件事:生成式引用做的是「片段检索 + 拼装」,你给它一整块糊在一起的长段落,它要么截断要么跳过。
第二,带明确数字或条件限定的句子,被引概率高。 比如「在 X 条件下,Y 指标通常落在 A–B 区间」这种句式,比「Y 指标表现优秀」稳得多。我猜是因为数字和条件给了模型一个可验证的锚点,降低它拼装时的置信成本。注意这里说的不是堆数据,是给结论配可核对的限定条件。
第三,反直觉的一点:同一页面里重复出现的关键实体名,反而会稀释引用。 我有篇稿子为了「关键词覆盖」,同一个产品名在 200 字里出现了 7 次,结果那条记录被引的是页面里另一段更干净的描述。后来我压到 2–3 次,引用就回来了。我的解释是实体密度过高会让片段在语义上变得「自我指涉」,模型判断这段是营销话术而非信息。这条我样本还小,不敢下定论,但方向值得盯。
踩坑细节也说一个:我最早用纯文本导出做统计,把 HTML 结构全丢了,结果「小标题切块」这个变量根本没法归因,白跑了两轮。后来改成保留 heading 层级再对齐,才把「结构边界」和「内容质量」两个因素拆开。所以如果你也要做类似对照,导出时一定保留结构标签,不然结论会误导自己。
顺带说一句,这类实验用免费额度跑小样本够用,但一旦要跨站点、跨语种做稳定性对照,调用量和字段限制就会卡脖子,得提前算好样本预算。
现在卡住我的问题是:被引段落的「结构边界」和「语义完整性」有时候是冲突的——切得太碎,单块信息不完整,模型拼装时反而容易断章取义;切得太整,又回到长段落被跳过的老问题。 这个平衡点你们是怎么找的?有没有人做过不同切块粒度(比如按句、按段、按问答对)的对照,被引率和引用准确率各是什么走向?
