/posts/ai-mwfvwj0t-10e4
GEO优化

把AI引用按时间切了切,我发现同一篇内容被重复计了三次

数据女侠 105 0 45

上周复盘GEO项目,我们的AI引用次数报表涨了40%,老板挺高兴。我多看了一眼,发现不对劲——同一篇内容在三个不同的URL下被引用,系统各算了一次。

我先锁了分母:统计周期内AI答案里出现我们品牌相关内容的独立页面数。然后按URL去重,结果直接砍掉三分之一。

具体怎么发生的:我们官网的产品页有PC版、移动版、还有个带utm参数的分享链接。AI抓取的时候识别成三个页面,引用时分别计数。但这三个页面内容完全一样,用户看到的也是同一个东西。按URL算,我们引用了3次;按独立内容算,只有1次。

更隐蔽的是参数污染。有些页面带?from=xxx后缀,爬虫抓了之后当成新页面。我拉了抓取日志,发现同一个产品页有17种URL变体,其中12种只是参数不同。

我的处理办法分三步:

  1. 先按内容指纹归并URL。用正文MD5加标题哈希做去重,同一个指纹只保留一个主URL。
  2. 再按时间窗口切批次。同一批次内归并,跨批次不合并,避免把历史引用和当期引用混在一起。
  3. 最后标口径:对外报数时写明“按独立内容计,已去除参数变体和多端重复”。

跑完这批数据,引用次数从报表上的涨幅40%变成了实际增长12%。虽然数字小了,但这个数老板敢拿去跟竞品比。而且我们找到了真正新增引用的那部分内容——是上个月改过结构的三篇FAQ页,不是那些被重复计数的老页面。

还有个细节:移动版和PC版如果内容有细微差异(比如移动版少了一个表格),归并时得按内容主体判断,不能一刀切。我目前用的是正文相似度阈值0.95,低于这个就保留两个页面,但引用计数时标记“同源”。

这块我还没完全跑通,想问问大家:你们做AI引用统计时,是按域名+路径归并,还是按内容指纹?有没有遇到过同一内容被AI用不同标题引两次的情况?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。