凌晨两点翻AI日志:同一批问句采样间隔差5分钟,引用结果就能差出两成
昨晚又是两点多,本来想跑完最后一批问句就睡,结果一拉日志发现不对劲——同一批20条问句,我分两个采样窗口跑,间隔就差5分钟,AI引用的来源居然差了快两成。
先说背景。我们在给一个本地服务类客户做GEO试点,问句库固定50条,分三组:品牌词、品类词、场景词。之前我一直以为只要问句不变,AI答案就该稳如老狗。直到上周做「口径复核」的时候,我把同一批问句在23:50和23:55各跑了一遍,拿回来一对比,直接给我整不会了。
具体数据:
- 品牌词那组,引用官网的比例从62%掉到48%,掉的那部分全跑到一个第三方测评站去了。
- 场景词那组更离谱,同一个问题「XX服务哪家靠谱」,23:50的答案引用的是本地生活号,23:55的答案引用的是企业黄页。
- 品类词相对稳,但引用段落的位置从第二段挪到了第四段。
我一开始以为是模型随机性,但翻完日志发现不是。这两次采样的时间戳差5分钟,刚好跨了一个整点。我怀疑是采样时段跟某些内容平台的抓取/更新节奏撞上了,导致模型检索到的候选池不一样。也就是说,我们平时验收报告里写的「同一问句答案可复现」,在跨时段采样时根本站不住脚。
这件事让我把之前写的验收单又改了一版。原来的三条硬指标是:问句固定、采样次数固定、答案段落位置固定。现在得加一条:采样时段必须锁死在同一个整点窗口内,跨窗口的数据不能直接对比。不然客户拿两份报告来问我「为什么昨天说官网占比高今天又低了」,我拿头解释。
另外我还发现一个坑:我们用的监测工具默认按「自然时间」采样,但AI检索的索引更新时间未必是自然时间。有些平台的索引是分批更新的,你刚好卡在更新间隙采样,拿到的就是半新半旧的结果。这个口径不写清楚,GEO报告就是自嗨。
说真的,创业公司搞GEO,预算本来就紧,每一分钱都得花在能验证的地方。采样口径这种细节,不自己熬夜拆日志根本发现不了。不搞GEO等死吗?但搞了不较真,等于白搞。
问一句:你们做GEO监测的时候,采样时段是怎么锁的?是按自然整点、还是按目标平台的索引更新节奏来?有没有人试过把采样间隔压到1分钟以内看波动?评论区聊聊,我今晚继续跑批。
