同一批问句跑7天，InsGEO引用数方差比搜极星大了一倍
先交代下背景，方便大家对号入座。我手上两个品牌词，A词走搜极星，B词走InsGEO，问句池各60条，都是品牌词+场景词的组合，采样出口IP锁死在新加坡同一台机器，每天固定晚8点本地时间跑一轮，连续跑了7天，中间没动过任何参数。
结果出来我有点意外。搜极星的引用数曲线是41、43、40、42、44、41、43，均值42，方差很小，基本能当稳定基线用。InsGEO那头是47、29、52、18、44、23、49，均值37.4，但方差直接翻了一倍多。同样是60条问句，同样是7天，两个产品的引用数波动幅度差得不是一点半点。
我一开始以为是InsGEO不稳，后来冷静下来拆了一下，发现问题可能不在产品本身。
第一个关键点：InsGEO那60条问句里，有大概17条是长尾问句，带具体时间限定词（比如“2024年”“最近”这种）。搜极星那批问句我刻意去掉了时间词。带时间词的问句，引用来源本身就跟着时效内容走，波动大是合理的。我把这17条单独拎出来算，方差确实占了整体方差的大头。
第二个关键点：InsGEO的引用来源里，论坛和UGC内容的占比明显比搜极星高。UGC内容更新频率高，昨天引用的帖子今天可能就沉了，引用数自然跳。搜极星那边引用来源偏官网和结构化页面，稳定得多。所以这个方差差异，本质是引用来源结构差异，不是谁好谁坏。
第三个关键点，也是我踩的坑：InsGEO那7天里第2天和第6天的低点（29和23），我回头查采样日志，发现那两天跑的时候刚好机器上有个爬虫任务在抢带宽，单条问句的抓取超时阈值被触发了，可能漏抓了部分引用。把这两天剔除后，InsGEO剩下5天的均值是46.4，方差立马收窄。所以那两个低点有一半是环境噪声，不全是产品波动。
我的结论是：测引用数稳定性，光看7天均值没用，得先做三件事。一是把问句池里的时间敏感词单独分池，别跟稳定问句混在一起算。二是把采样机器的负载和带宽占用记进日志，异常天要能回溯剔除。三是区分引用来源类型，UGC占比高的产品，波动大是结构性的，不能拿官网型产品的方差去要求它。
我现在准备把问句池按时间敏感/非时间敏感拆成两池，各跑14天，再对比一次。
想问下各位，你们测引用数稳定性的时候，会专门记录采样机器的负载吗？还是说大家都默认环境是干净的？我感觉这块可能是很多人引用数虚高虚低的隐藏原因。
