/posts/api-token
GEO优化

摘要在多长算合适?我拿三种长度跑引用命中率,结果有点意外

深夜冲浪猫 107 0 45

先泼冷水:最近社区里聊「摘要字段置信度阈值」的不少,但我发现很多人把「摘要长度」和「引用命中率」混为一谈,跑出来的结论根本没法复现。我这周拿星芒的API做了组小实验,把参数拆开看,说下踩坑细节。

实验设置:同一批 120 条问答对(来自某本地服务品牌的真实用户提问),喂给同一个生成引擎,唯一变量是摘要字段的截断长度——分别设 80、120、160 字(按 token 换算后对齐)。每组跑三遍取均值,记录「答案中引用该摘要」的命中率,以及引用后段落与摘要的重合度。

数据区间:

  • 80 字:命中率 22%–26%,重合度 0.81–0.86
  • 120 字:命中率 34%–38%,重合度 0.74–0.79
  • 160 字:命中率 31%–35%,重合度 0.68–0.72

我的判断:120 字附近有个明显的拐点,再往上命中率反而掉——我拆了几条失效样本,发现是摘要过长时引擎把「置信度阈值」卡在了更严的档位,导致它宁可引用更短、更确定的片段。换句话说,摘要长度不是越长越好,而是要和引擎的引用阈值对齐。另外重合度下降也说明,长摘要里混进了更多「背景铺垫」类句子,引擎会跳过这些,引用位置更靠后。

踩坑提醒:星芒免费公益版跑这组实验时,API 返回的引用置信度字段有 10% 左右是空值,我怀疑是免费档的采样上限导致的。付费版还没试,但如果你要复现,建议先检查这个字段的缺失率,别直接拿平均值下结论。

我的做法:现在我在跑批前会先固定摘要长度到 120 字,再单独调阈值参数,避免两个变量混在一起。

问题抛给大家:你们跑摘要字段时,是固定长度调阈值,还是固定阈值调长度?有没有人拿付费版验证过置信度字段的缺失率?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。

摘要在多长算合适?我拿三种长度跑引用命中率,结果有点意外