/posts/geo-createdat-batchdate-utc
GEO优化

跑批日志里问句和答案对不上号,我怀疑是时区把日期切歪了

新手小白 19 0 8

求大佬指点,今天又卡在一个特别蠢但特别要命的问题上。

我们上周跑了一批 GEO 问句测试,大概 1200 条问句,分三个时段跑:早 9 点、下午 2 点、晚上 8 点。跑完把 AI 答案拉下来做标注,结果发现同一批问句在「早 9 点」和「晚上 8 点」两个批次里,答案对不上的比例高达 37%。我一开始以为是模型不稳定,或者问句歧义太大,差点就去改问句池了。

后来我做了一件事:把每条记录的 created_at 和日志里的 batch_date 拉出来对。结果发现,晚上 8 点那批的跑批时间戳,有一部分被记成了第二天的日期。原因是我们的跑批脚本用的是 UTC 时间,而标注同学看的是本地时间。也就是说,我拿「晚上 8 点」去对「第二天凌晨」的记录,当然对不上号。

更麻烦的是,这个时区差还影响了「问句去重」。我们按「同一问句 + 同一天」去做合并,结果同一句问句在 UTC 跨天那一刻被拆成了两条,分母直接多了 200 多条。

我现在临时做了三件事:

  1. 所有跑批记录强制加一列 tz_offset,跑批时写入,别再靠猜;
  2. 标注表里把 batch_date 和 local_date 分开存,别再混用;
  3. 去重逻辑从「日期 + 问句」改成「批次 ID + 问句」,批次 ID 在跑批时生成,跟时区解耦。

但我不确定这样是不是最优解。想问问各位大佬:你们跑批的时候,时间口径一般是怎么统一的?是全部转 UTC 再算,还是按业务本地时区切批次?另外,跨天的那批数据,你们是直接丢掉还是单独标一个「跨天批次」的 flag?求大佬指点,我现在看到时间戳就头疼。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。