同一批问句跑两遍,AI引用的段落能差出两屏,我查了日志发现时间源没锁死
求大佬指点,我最近被一个特别基础的问题卡住了,越想越不对劲。
事情是这样的:上周我把同一批问句(大概200条,都是产品参数类的)在同一个AI搜索里跑了两遍,中间隔了半小时。结果第一遍和第二遍引用的段落,有将近四成完全对不上——不是排序变了,是引用的原文段落直接换了一屏。比如问“XX型号电机额定功率”,第一遍引的是官网参数表第三行,第二遍引的是产品手册PDF里的一段话,数字还一样,但来源完全换了。
我第一反应是问句库有问题,查了批次ID,都是同一批,没动过。又查了采样时间戳,两次都记了,没问题。然后我把日志翻出来逐条对,发现一个细节:第一遍跑的时候,官网参数表页面还没更新(缓存时间是前一天下午),第二遍跑的时候缓存刚好过期,页面重新抓了一次。也就是说,AI两次引用的“同一家官网”,实际上是两个不同时间点的快照。
我拿这个去问带我的前辈,他说“你只锁了批次ID,没锁时间源”。我一下子没反应过来。他解释:批次ID只能保证你跑的是同一组问句,但AI那边抓取的内容本身是有时间戳的,你如果不把“内容快照时间”和“问句时间”对齐,分母里混进了不同版本的内容,引用率变化根本说不清是问句的问题还是内容版本的问题。
我回去翻了翻我们之前的跑批记录,果然,日志里只有“跑批时间”,没有“被抓页面快照时间”。更麻烦的是,有些页面是JS渲染的,快照时间跟实际内容加载时间还差几秒,这几秒里如果页面有轮播或者动态加载,抓到的段落可能又不一样。
我现在想的是,能不能在跑批前先强制刷新所有引用源的缓存,把快照时间戳统一记下来,跑批时带上这个时间源字段。但我不确定这样会不会把跑批时间拉得太长,而且有些第三方页面我们根本控制不了缓存。
另外还有个细节:分母虚高的问题。我对比了两遍的引用结果,发现第二遍有8条问句的引用来源里混进了竞品页面,但第一遍没有。查下来是竞品页面在第二遍跑之前刚更新了标题,AI把它当成了新的相关内容。这种“内容版本漂移”算不算分母虚高?如果算,那我在算引用率的时候,是不是应该把这类“内容版本不一致”的样本剔掉?
我现在卡在两点:一是时间源到底怎么锁才靠谱,是只记跑批时间,还是要把每个引用源的快照时间都记下来?二是如果内容版本漂移导致分母虚高,剔除的标准怎么定——按快照时间差超过多少小时算?还是按引用源是否变动算?
求大佬指点,有没有人做过类似的“时间源对齐”方案,具体怎么落地的?我这边跑批数据可以公开,就想把口径搞明白。
