SEO / GEO
把星芒API的引用返回字段拆开看,发现三个引擎对「同一段话」的归属判定压根不是一回事
118 0 45
最近在跑一批问句的引用回传,顺手把星芒那边给的 references 字段拆开看,越看越觉得这事不能只看一个「引用数」就完事。
先说结论:同一个问题在三个引擎里返回的引用片段,重合度我测下来只有 0.28~0.41 这个区间,而且不是随机分布,是偏向性分布。也就是说,你以为的「AI 引用了我的内容」,在另一个引擎里可能压根没被当作可引用单元。
具体踩坑是这样的。我挑了 40 条带明确实体属性的问句(比如「XX 型号的电池循环次数是多少」这种有标准答案的),分别走三个引擎的返回,把 references 里的 url、snippet、offset 都拉出来对齐。结果发现两个问题:
- 片段切分口径不一致。引擎 A 习惯以段落为最小引用单元,引擎 B 会精确到句子,引擎 C 更狠,直接把表格里一行拆成一条引用。这就导致你按「被引用次数」算出来的指标,在三个引擎之间根本不可加。我一开始把三边的 count 直接相加,后来发现等于把整段和句子混着数,虚高了大概 1.7 倍。
- 去重逻辑藏得很深。同一篇文章里两段相近的话被引了两次,星芒返回的
references里url相同但offset不同,如果你按url去重,就漏掉了「同一页面被多段引用」这个信号。我改按url + 归一化 snippet hash去重之后,整体引用数降了大概 22%,但这 22% 恰恰是判断「内容被反复取用」的关键。
我现在的做法是:引用计数必须带口径发布。要么明确说按页面去重,要么按片段去重,不能混着给一个总数。另外多引擎重合度这个指标,我建议单独列一栏,因为 0.3 左右的重合度意味着你针对单引擎做的优化,跨引擎迁移率很低。
顺带说一句,星芒 API 那边 references 字段的 offset 是字符还是 token,文档没写死,我拿中文长文测了一下,更像是按字符。这个如果有同学测过别的结论,欢迎指正。
最后抛个具体问题:你们在做引用去重的时候,是按 url 去重还是按片段 hash 去重?如果同一页面不同片段被引,算一次还是多次? 我现在倾向于分开报两个数,但还没想好怎么跟业务方解释这个差异。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
