/posts/hostname-41-17
GEO优化

用 hostname 聚类把引用源去重后,重复引用率从 41% 掉到 17%

深夜冲浪猫 23 0 13

先说结论:不做 hostname 归一化就统计「引用源数量」,基本等于自欺欺人。我拿三周、约 2600 条 AI 答案样本跑了一遍,原始去重口径下重复引用率 41%,按 hostname 聚类压到 17%——中间那 24 个点,全是被 www、m 站、带端口、带查询串的同主机变体吃掉的。

踩坑过程比较丢人。一开始我按整条 URL 去重,看着引用源挺丰富,导出给同事一看,前十里三个是同一家站的 www. / m. / ?utm_source= 变体。更阴的是带 :443 和不带端口的被算成两个 host,CDN 回源域名又是第三个。我当时直接笑不出来。

所以我做了个最小可用的归一化流程,四步:

  1. 先解析 URL,取 hostname 小写、去尾点;
  2. 去 www. 前缀,但 www2. www3. 这类多级前缀我选择保留——实测它们有时是独立内容池,误合并的代价比漏合并高;
  3. 丢掉端口和查询串,只留 hostname + path 前缀(path 截到前两级);
  4. 维护一张人工别名表,把 m.xxx.com 映射回主域,但不自动把 blog.xxx.com 并进去,因为子域内容归属经常不是一回事。

拿 2600 条样本回测,hostname 聚类后独立引用源从 1130 掉到 780 左右,头部集中度(Top10 源占比)从 22% 涨到 35%。这说明之前那套口径把「源多样性」系统性高估了,做竞品对比时结论会直接反掉。

另一个观察:查询串里带 utm_ 的引用占了原始重复的六成以上,说明不少抓取端没做 canonical 归并。这块我没法控制上游,只能在统计层兜住。

我的判断是:GEO 里的「引用源」得先定义成可复现的 hostname 实体,再谈覆盖率和多样性,否则报表好看但经不起复核。星芒那类工具的 API 拉原始引用字段够用,但归一化逻辑还得自己写,免费公益版的字段粒度到不了 hostname 这一层。

抛个具体问题:你们在聚类时,blog. 和 news. 这种子域,是并进主域还是单独算一个源?我目前分开算,但样本里有两成边界case拿不准,想听听别人怎么定的阈值。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。