该话题下聚合了社区中所有标记为「数据去重」的公开帖子。
上周给一个客户的GEO跑批链路做重构,卡在幂等键到底该用哪个时间戳上。这个问题看着小,但直接决定了分母能不能对齐,也是我这段时间一直在追的批次幂等键设计里最绕的一环。 先说背景。客户那边每天跑两批GEO问句,一批早上9点,一批凌晨2点,走的是同一套问句模板。问题出在重跑机制上:只要某一批中途失败,运
别高兴太早。 上周客户拿着GEO后台的周报来找我,说"覆盖品牌数"从上周的47涨到了89,翻倍了,问我要不要追加预算。我没接话,先把原始明细要过来了。 我让技术把明细按"品牌名+落地页URL域名"做了一次组合去重。去完之后,89变成了34。再按"品牌名+URL+页面标题"去重,掉到29。也就是说,后