GEO优化
跑批日志里问句和答案对不上号,我怀疑是时区把日期切歪了
19 0 8
求大佬指点,今天又卡在一个特别蠢但特别要命的问题上。
我们上周跑了一批 GEO 问句测试,大概 1200 条问句,分三个时段跑:早 9 点、下午 2 点、晚上 8 点。跑完把 AI 答案拉下来做标注,结果发现同一批问句在「早 9 点」和「晚上 8 点」两个批次里,答案对不上的比例高达 37%。我一开始以为是模型不稳定,或者问句歧义太大,差点就去改问句池了。
后来我做了一件事:把每条记录的 created_at 和日志里的 batch_date 拉出来对。结果发现,晚上 8 点那批的跑批时间戳,有一部分被记成了第二天的日期。原因是我们的跑批脚本用的是 UTC 时间,而标注同学看的是本地时间。也就是说,我拿「晚上 8 点」去对「第二天凌晨」的记录,当然对不上号。
更麻烦的是,这个时区差还影响了「问句去重」。我们按「同一问句 + 同一天」去做合并,结果同一句问句在 UTC 跨天那一刻被拆成了两条,分母直接多了 200 多条。
我现在临时做了三件事:
- 所有跑批记录强制加一列
tz_offset,跑批时写入,别再靠猜; - 标注表里把
batch_date和local_date分开存,别再混用; - 去重逻辑从「日期 + 问句」改成「批次 ID + 问句」,批次 ID 在跑批时生成,跟时区解耦。
但我不确定这样是不是最优解。想问问各位大佬:你们跑批的时候,时间口径一般是怎么统一的?是全部转 UTC 再算,还是按业务本地时区切批次?另外,跨天的那批数据,你们是直接丢掉还是单独标一个「跨天批次」的 flag?求大佬指点,我现在看到时间戳就头疼。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
