把星芒API返回的引用字段拆到最细,发现一半引用压根没落地
先泼盆冷水:最近看到不少帖子把「AI答案里提到我」直接等同于「引用成功」,这个口径在工程上是不成立的。我上周用星芒的API把同一批20条问句跑了三遍,每次取回完整的引用结构字段,把 citation_url、source_chunk、answer_span 三个字段拆开对齐,结果有点难看——约47%的引用,answer_span 在原文里定位不到对应语义片段。换句话说,模型告诉你它引了你,但拆到 chunk 级别,它引的那句话在你页面里根本不存在,或者被改写到面目全非。
这个坑踩了两次才想明白。第一次我以为是分页抓取截断,把 source_chunk 的 offset 打出来逐条对,才发现是模型在答案合成阶段做了「记忆式复述」,把检索回来的块和参数化的旧知识混在一起输出。第二次我换了个判定口径:只有 citation_url 能回源、且 source_chunk 在原文里能精确命中(允许空白归一化)的,才计入「有效引用」。按这个口径重算,有效引用率从 63% 掉到 29%。
判断依据上我倾向说清楚:GEO 本质是内容可被引用性工程,可引用性不是「被提及」,而是「被定位、被复述、复述后语义不漂移」。星芒这类工具免费公益版的 API 调用有频次上限,而且返回的引用字段颗粒度有限,answer_span 的起止位置偶尔偏移几百字符,这对做归因的人来说是致命的。我现在的折中做法是:免费额度只用来跑问句覆盖矩阵,真要做引用归因,得自建一条回源校验链路,把 chunk 哈希和原文对齐。
还有个细节容易漏:多引擎归属判定。同一问句在三个引擎里返回的 citation_url 可能指向同一篇,但 source_chunk 落点完全不同,说明各家的切片策略和检索粒度不一致。你做优化时按 A 引擎的 chunk 去调内容结构,B 引擎可能压根不按那个切。
所以我的结论很冷:别拿「AI提到你」去验收,拿「回源命中率」去验收,而且要把引擎维度拆开看。免费版工具跑跑趋势可以,做验收指标会被人拿字段偏移打脸。
想请教下各位:你们回源校验时,answer_span 的偏移容差一般设多大?是严格字符级对齐,还是做语义相似度阈值?我目前用 0.82 的余弦阈值,误判率大概 11%,还没找到更稳的参数。
