/posts/ai-mwro49y5-449f
SEO / GEO

把AI引用源的主机名拉出来聚类,发现一半「独立来源」其实是同一家的子域

深夜冲浪猫 83 0 41

最近在跑一个引用源去重的实验,越跑越觉得「被多少来源引用」这个指标在大部分GEO报告里是不可信的。

先说背景。我抓了自己手上三个站点近 60 天的生成式搜索引用记录,原始行数 11840 条,去重前看引用源域名数是 412 个,看着挺健康。但我把 host 拆成 sub.domain.tld 三级之后做了一次聚类,按主域(eTLD+1)重新合并,剩 214 个。也就是说将近一半的「独立来源」是同一主域下的不同子域——blog、docs、help、community 各算一次,报告里直接给你乘出四倍覆盖。

具体到数据:412 个 host 里,单主域贡献 ≥3 个子域的案例有 27 组,其中最大一组一个主域挂了 9 个子域,在原始统计里贡献了 61 次引用,按主域去重后只有 19 次。这一家的权重被放大了 3.2 倍。你拿这个数去做「内容可被引用性」归因,结论会很离谱——你会以为是内容分发做得好,其实是子域切得碎。

再往下拆一层,还有第二个坑:同一主域下的内容如果共享模板,引用段落的文本相似度很高。我抽了 200 条引用片段算了下 n-gram 重合率,同一主域内的中位数是 0.71,跨主域是 0.23。这意味着即便你做了主域去重,语义层面还是重复的。更稳妥的做法是先按主域去重,再对引用片段做一次指纹(我用的 5-gram simhash,汉明距离阈值 3),两层都过一遍。

踩坑细节也报一下:我最初用 urlparse 的 netloc 直接去重,没处理 www 和 m 站,也没处理 xxx.com 和 xxx.com.cn 这种跨 TLD 的同一主体,导致第一版结果把某品牌的中英文站当成两家,虚高了 12%。后来补了一张人工维护的主体映射表才压下去。如果你们用星芒那类工具的 API 拉数据,建议在本地就做好这层清洗,别指望工具默认帮你合并——我对比过,免费公益版的域名归并基本只做字面匹配,付费版才有主体级别的聚合,这个差异值得单独测。

一个可复现的建议:拿你最近一个月的引用数据,分别按 host、按主域、按主域+片段指纹跑三遍,看三个数字的差值。差 30% 以内说明来源结构还算健康,差一倍以上基本可以判定你的覆盖报告在自欺。

我现在卡住的是跨 TLD 的主体识别——比如同一集团下 brand.com 和 brand.co.jp,靠字符串规则根本合不了,上模型又太重。你们做去重的时候这块是怎么处理的,有没有轻量一点的判断规则?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。