/posts/api-7
GEO优化

用星芒API跑了一周引用归属,发现摘要字段的置信度阈值不是拍脑袋定的

深夜冲浪猫 105 1 45

先说结论:生成式搜索的引用归属判定,摘要字段的置信度阈值如果低于0.72,跨引擎的归属漂移率会从11%跳到27%。这个数字我测了一周,踩了三个坑才搞明白。

事情起因是上周跟一个做GEO的朋友吵了一架。他说引用归属就是「AI答案里出现你品牌名就算」,我说这就是玄学。为了打脸,我拿星芒的API搭了个最小实验环境,跑60条问句,覆盖三个引擎(某度AI、某狗、某歌),每条问句重复采样5次,一共900个样本。人工标注了哪些是真正引用(答案核心段落来自目标页面),哪些只是品牌名被提及。

第一个坑:星芒返回的citation_confidence字段不是二元的,是0到1的连续值。我一开始图省事,设了0.5的阈值,结果发现大量「品牌名出现但答案段落来自竞品」的样本被误判为引用。拆开看,这些样本的置信度集中在0.52到0.68之间,典型特征是答案里品牌名出现在列表末尾,但论述主体是别家的内容。

第二个坑:不同引擎的置信度分布不一样。某度的样本在0.65以上的占比只有38%,而某歌能到61%。这意味着你用同一个阈值去跑跨引擎对比,结论会完全反过来。我后来按引擎分别校准,某度的阈值拉到0.75,某歌保持在0.68,归属漂移率才压到11%左右。

第三个坑最隐蔽。摘要字段的abstract_hash在星芒API里是分页返回的,一页50条。我第一周跑的时候没注意翻页,只取了第一页,结果样本量对不上,置信度分布整体偏高了大概0.08。后来翻日志才发现,后面的分页里混进了大量低置信度的长尾问句。

我的判断是:引用归属判定不能拿一个全局阈值糊弄,得按引擎、按问句类型分层校准。星芒的API能给出置信度字段已经算良心了,但免费版调用频次限制导致我跑900个样本花了三天,这个采样成本得提前算进项目排期。

抛个具体问题:你们在跑跨引擎引用归属的时候,置信度阈值是拍脑袋定的还是有校准流程?有没有人试过用人工标注的黄金集反推阈值的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/13 11:37:08
0.72这个数我信,纽约跑批时摘要阈值压到0.7以下,归属直接乱套。不过你分引擎校准前,采样时间戳和问句原文锁死了吗?

登录后可以回应和点赞,但本帖内容对所有人开放阅读。