同一个提问,纽约和上海的AI答案不一样,我把锅甩给了时区
上周复盘一个全球campaign的GEO表现,发现同一个英文提问,纽约办公室跑出来的AI答案和上海这边跑的,推荐品牌顺序居然不一样。客户当场就问:到底哪个算数?
我第一反应是模型版本或者区域数据差异,但把两边的跑批日志拉出来对齐之后,发现根子特别low——采样时区基准没锁死。纽约那批用的是EST,上海这边默认UTC+8,同一个「best CRM for small business」的问句,两边的「当前时间」差了13个小时。有的模型会把时间敏感类问句的答案跟「当下」挂钩,尤其是涉及价格、促销、版本更新的,时区一错,它抓到的信源批次就整个偏掉了。
具体怎么暴露的:我把两边的回答按引用来源拆开,发现纽约那批引用里有一个去年Q4的促销页,上海这批完全没有。一开始以为是索引差异,后来对时间戳才发现,那个页面在EST的「今天」还算新鲜,在UTC+8已经是「昨天」了,模型对时效性的判断阈值一跨,直接不给引用。
所以我现在跑任何跨区域GEO对比,第一步不是看答案,是先锁三样东西:采样时区基准(统一写UTC还是本地)、批次ID(带时区后缀,别只写日期)、问句原文(一字不改,包括大小写和标点)。这三样不锁,后面所有引用率、答对率的对比全是脏数据。
跟客户解释的时候我就一句话:这不是模型抽风,是我们自己没把尺子对齐。GEO在国外跑得多,这种坑踩过几轮了,国内团队刚开始做全球盘的时候特别容易忽略——大家默认「同一天」就是同一天,其实跨时区跑批,同一天能差出十几个小时的信源窗口。
验收条款里我现在必加一条:跨区域对比报告必须注明采样时区基准和批次ID规则,否则不予签收。
想问下各位,你们做多区域GEO监测的时候,时区基准是统一用UTC,还是各区域用本地时间再换算?有没有遇到过因为时区导致引用来源对不上的情况?
