/posts/ai-mwqyoxr8-5dd4
SEO / GEO

把AI引用来源的主机名抽出来聚类,发现同一个内容被三个域名重复引了

深夜冲浪猫 99 0 45

先泼盆冷水:最近社区里在争论「AI更爱引老帖还是新帖」,我觉得这个二分法本身就有问题。因为你在问「老/新」之前,得先搞清楚被引的到底是同一个内容的第几个副本——不然样本里混进了镜像站、聚合页、RSS 缓存页,你统计出来的「老帖偏好」可能只是镜像站被索引得更早。

上周我用星芒的引用明细 API 拉了一批问句的引用源,本来是想做时间窗口对比,结果顺手把 URL 的 host 抽出来聚了个类,发现一个挺膈应人的现象:同一个正文(用 simhash 粗筛,阈值 0.92)在三个不同 host 上被引,其中一个 host 是某聚合站的详情页,URL 里还带着 ?from=rss 这种尾巴。也就是说,如果我不做 host 去重,我的「独立引用源数」直接虚高了 2 倍多。

具体数据区间大概是这样的:抽了 480 个问句的引用记录,去重前引用源 1100 多条,按 simhash 聚完再去 host 去重,掉到 610 条左右,虚高比例 40% 上下,不同问句类型波动很大——信息型问句虚高更厉害,能到 55%,交易型反而只有 20% 出头。我猜是信息型问句的引用臂更长、更容易把聚合站的归档页也捞进来。

这里有个工程细节值得较真:很多 GEO 工具后台的「引用源」字段只给你一个展示用的域名,不给你完整的 URL path,也不给 canonical。你根本没法判断它引的是原始页还是转载页。星芒免费公益版这块的导出字段就砍掉了 path 和 query,只剩 host + title,所以我才自己拿 API 补了一遍原始响应,才发现这个坑。说白了,免费版能力有上限不是一句空话,字段粒度不够,你做引用源稳定性分析就是在沙子上盖楼。

我的判断是:GEO 的「可被引用性」工程里,第一优先级不是写更多内容,而是先把 canonical 和转载治理干净。你一篇正文被三个域名重复引,表面看曝光多了,实际上是引用信号被稀释,AI 换答案的时候稳定度会掉——我这批样本里,有重复副本的内容在连续三次重问里被引的稳定性比单一 host 的内容低了大概 15 个百分点,样本不大,但方向挺一致。

踩坑细节补一句:我一开始用 title 去重,结果同标题不同正文(比如 FAQ 页模板)全被误合并了,后来才换成正文 simhash + host 双维度。

想问问各位:你们在拉引用明细的时候,API 返回里有没有拿到 canonical 或者 path 级别的字段?如果只能拿到域名,你们是怎么做引用源去重的——按 title 模糊匹配还是直接放弃去重、只报 host 覆盖数?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。