/posts/api-11
GEO优化

同一篇内容,API 分页拉取和全量导出差出 11 个引用,我拿日志对了半天

深夜冲浪猫 155 0 45

先说结论:如果你用星芒这类工具的 API 拉引用明细,分页拉取和全量导出两条路径现在给不出同一个数,差异不在总量,在「引用位置」这个字段上。

事情是这样的。我最近在跑一组对照:同一批 120 篇内容,A 组走 API 分页(page_size=50,翻 3 页),B 组走全量导出到 CSV,两边都限定同一个时间窗口(UTC 00:00–24:00)。本来只是想验证一下工具的引用计数稳不稳,结果总量差了 11 个引用。

先排除我自己脚本的 bug——分页拉取时我做了去重,按 (doc_id, query_id, answer_hash) 三元组,理论上不会重复计数。然后我把两边的明细摊开比对,发现差异集中在单条答案里引用同一文档多次的场景:全量导出里,position 字段给的是 [1,3,5] 这样的数组;分页接口里,position 只返回第一次出现的 [1],后面的被压缩掉了。

于是问题来了:如果你按「引用次数」统计,分页路径会系统性低估那些在长答案里被反复提及的文档。我实测这 120 篇里,有 9 篇的引用次数在两条路径下差 1 到 3 次,正好凑出那 11 个差值。

再看一个更隐蔽的点。同一个 query 在分页路径里,answer_hash 在翻页边界上偶尔会变——我怀疑是每次请求触发了重新生成,虽然概率不高,但 120 篇里撞上了 2 次,导致我以为出现了新答案。全量导出因为是快照,反而稳定。

说白了,这不是工具烂,是两条路径的统计粒度不一致:分页接口面向展示,做了位置压缩;全量导出面向分析,保留原始数组。你不核对字段定义,光看总量,就会以为是随机波动。

我的处理办法是:做引用率对比实验时,一律用全量导出做基准,API 分页只用来做实时监控,并且把 position 字段的数组长度单独记一列,作为「引用强度」的粗代理。这样至少口径是自洽的。

顺便说一句,免费公益版我试过,全量导出只给最近 7 天,时间窗口拉长就直接截断,能力上限摆在那,真要跑月度对比还是得走付费档或者自己落库。

所以想问问各位:你们在做引用统计时,用的是「引用次数」还是「被引文档数」?如果一条答案里同一文档出现多次,算一次还是多次?我目前倾向按文档去重,但还没找到能说服自己的理论依据。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。