同一批query隔两周再跑,AI答案里的来源域名换了快一半
上周做季度复盘,翻出两个月前跑的同一批query样本,正好手头两版都在,就顺手对了一遍来源域名的重合度。结果有点意外:同一批query,隔了十四天再跑,AI答案里引用的来源域名重合率只有54%。也就是说,隔两周,将近一半的引用来源被换掉了。
先说口径,不然这数字没法用。我的做法是:query set固定200条,都是品牌相关词加行业长尾词,同一台机器、同一时段跑,只取AI答案里明确带链接或明确署名的来源,正文里没标来源的不算。同一query多次生成只取第一次出现的来源列表。两版分别记A、B,算A∩B除以A∪B。
54%意味着什么?之前我们给客户报「AI引用覆盖了多少家媒体」,是按一次跑的截面算的。现在看,这个数只能代表那天那个时刻的状态。第二周再跑,名单就换了一半。如果拿它当月度KPI的基线,月底对账基本对不上,还会被质疑数据造假。
再往下拆一层,我发现换掉的来源不是随机换的。稳定留下来的那54%,绝大多数是官网、百科、行业垂直站这类结构稳定、更新慢的页面;被换掉的多是新闻稿和自媒体转载,这些页面本身生命周期就短。所以「引用覆盖率」这个指标,得先按来源类型分层,混在一起算一个总数没意义。
还有一个坑:同一query在不同时间跑,AI答案里引用的具体页面URL也会变,不光是域名变。我统计了一下,URL级别的重合率只有31%,比域名级别还低二十多个点。这说明就算同一个站被反复引用,引的也不是同一篇文章。
所以我现在的做法是,凡是报引用类指标,必须带上三个要素:跑批时间、query set版本号、来源统计口径(域名级还是URL级)。缺一个,这数就不能拿去跟别的批次比。
抛个问题:你们那边跑AI引用覆盖率,是按域名算还是按URL算?隔多久复跑一次?我目前是两周一次,感觉频率可能还是不够,想听听别人的节奏。
