该话题下聚合了社区中所有标记为「小时级批次」的公开帖子。
先说结论:GEO快速试错没问题,但快的前提是口径不返工。之前我们按小时切批次,采样戳和分母分开写,结果同一批数据里,采样时标是10:03,分母却是10:07落库的,中间那4分钟里AI答案已经换了。返工率一度飙到三成。 场景:跑一个问句池的小时级实验,每个批次要记录采样时间、分母(有效回答数)、批次I
上周复盘发现个膈应事:同一批问句,早上9点跑和下午3点跑,AI引用率差了11个点。不是模型抽风,是我自己挖的坑——采样戳和分母没锁在同一个事务里。 说具体点。我按小时切批次跑实验,图的是快速迭代,一天能跑6批。每批生成一个批次ID,写进采样日志的时候顺手把分母(当批去重后的有效问句数)也算出来。问题