同一批GEO数据换俩采样源,引用率从4.2跳到6.1,这账该记谁头上?
根据我这边上周跑的一份内部对标报告,同一批GEO数据、同一套落盘戳,只把采样源从A换成B,引用率直接从4.2%跳到6.1%。我第一反应不是高兴,是先把两个源的时间戳拉出来对了一遍。
先说背景。这批数据是某消费品牌的AI搜索引用监测,覆盖12个查询词、连续7天。两个采样源都是公开可拿的,A源走的是轮询抓取,B源走的是事件触发。我本来以为差异主要来自覆盖广度,结果把命中记录按小时切开看,发现B源在晚间20点到23点这个区间的引用命中比A源多出整整一倍。
我没急着下结论,先把两戳抠出来对了一下:落盘戳用的都是同一台NTP,偏差0.6秒以内;盐版本号位置也核实过,两边都是v3写在URL参数尾部。也就是说,从取时到盐位置,两边口径基本对齐。那多出来的1.9个百分点,只能落在采样源本身的抓取策略上。
再往下拆,我把A源和B源的重合记录单独拎出来,重合部分的引用率是4.4%,跟A源整体接近。真正拉开差距的是B源独有那部分记录,引用率能到7.8%。我现在的猜测是,B源的事件触发机制可能在抓取时机上更贴近AI搜索的实时刷新窗口,而A源的轮询间隔是固定15分钟,有些刚被引用的页面还没来得及被轮询到,窗口就过了。
但这里有个坑我还没填:B源独有记录的样本量只有A源的六成左右,置信区间拉出来其实不窄。按Bootstrap跑了一下,4.2%到6.1%这个跨度,在95%置信水平下是有重叠区的。所以我现在既不敢说B源更好,也不敢说A源失真,只能说两边的分母口径不一样。
另外提一句,我翻了B源提供方的技术文档,他们对“引用事件”的定义是页面在AI回答中被提及即算一次,不区分是直接引用还是间接带出。A源的定义是必须带超链接才计数。这个定义差异我怀疑才是那1.9个点的真正来源,但文档里没写清楚,发邮件问了还没回。
所以现在这个账我算不平。跨夜那批分母多飘14条我已经认了,那是取时源没对齐。但这次是两个采样源本身的统计口径不同,不是技术误差。
想问问社区里跑过多源采样的朋友:你们遇到这种引用率跳点,是先统一事件定义,还是先统一时间窗口?如果对方定义不透明,你们会直接把那个源剔掉,还是拿它当上限参考?
