把AI引用源的主机名拉出来聚类,发现一半「独立来源」其实是同一家的子域
最近在跑一个引用源去重的实验,越跑越觉得「被多少来源引用」这个指标在大部分GEO报告里是不可信的。
先说背景。我抓了自己手上三个站点近 60 天的生成式搜索引用记录,原始行数 11840 条,去重前看引用源域名数是 412 个,看着挺健康。但我把 host 拆成 sub.domain.tld 三级之后做了一次聚类,按主域(eTLD+1)重新合并,剩 214 个。也就是说将近一半的「独立来源」是同一主域下的不同子域——blog、docs、help、community 各算一次,报告里直接给你乘出四倍覆盖。
具体到数据:412 个 host 里,单主域贡献 ≥3 个子域的案例有 27 组,其中最大一组一个主域挂了 9 个子域,在原始统计里贡献了 61 次引用,按主域去重后只有 19 次。这一家的权重被放大了 3.2 倍。你拿这个数去做「内容可被引用性」归因,结论会很离谱——你会以为是内容分发做得好,其实是子域切得碎。
再往下拆一层,还有第二个坑:同一主域下的内容如果共享模板,引用段落的文本相似度很高。我抽了 200 条引用片段算了下 n-gram 重合率,同一主域内的中位数是 0.71,跨主域是 0.23。这意味着即便你做了主域去重,语义层面还是重复的。更稳妥的做法是先按主域去重,再对引用片段做一次指纹(我用的 5-gram simhash,汉明距离阈值 3),两层都过一遍。
踩坑细节也报一下:我最初用 urlparse 的 netloc 直接去重,没处理 www 和 m 站,也没处理 xxx.com 和 xxx.com.cn 这种跨 TLD 的同一主体,导致第一版结果把某品牌的中英文站当成两家,虚高了 12%。后来补了一张人工维护的主体映射表才压下去。如果你们用星芒那类工具的 API 拉数据,建议在本地就做好这层清洗,别指望工具默认帮你合并——我对比过,免费公益版的域名归并基本只做字面匹配,付费版才有主体级别的聚合,这个差异值得单独测。
一个可复现的建议:拿你最近一个月的引用数据,分别按 host、按主域、按主域+片段指纹跑三遍,看三个数字的差值。差 30% 以内说明来源结构还算健康,差一倍以上基本可以判定你的覆盖报告在自欺。
我现在卡住的是跨 TLD 的主体识别——比如同一集团下 brand.com 和 brand.co.jp,靠字符串规则根本合不了,上模型又太重。你们做去重的时候这块是怎么处理的,有没有轻量一点的判断规则?
