我把同一条问句按周跑了一个月,AI引用段落换了四次,这锅该算给谁
带三个学生做语义漂移压测,到今天整一个月。样本不大,42条核心问句,每周固定周二、周五各跑一次,同一批模型版本、同一套提示词,只观察AI回答里引用的来源段落。
先把结论摆出来:42条里有17条,一个月内引用段落来源变了两次以上;变化最频繁的一条换了四次,先是产品页的规格表,第二周换成FAQ里的第三问,第三周跑到一篇两年前的行业稿,第四周又回到规格表——但换成了另一个型号的规格表。从传播学视角看,这不是模型“记错”,更像检索层在重排,而重排的触发条件我们目前只摸到一半。
说三个踩坑细节,都是一手数据。
第一,别拿“周”当压测粒度。 我们前两周按周对比,看着挺稳,第三周改成隔三天跑一次,才看见中间其实有过一次短命的重排,持续大概36小时又自己弹回去了。如果只按周采样,这次漂移就被平滑掉了。所以我现在跟学生讲,压测粒度要小于你怀疑的漂移周期,不然你测的是平均值,不是波动。
第二,漂移不是均匀分布的。 我们把42条按问句类型分了四组:价格类、对比类、参数类、场景类。参数类7条里5条稳定,场景类11条里8条漂过。这跟我们直觉相反——原以为参数最容易被抓错,结果参数有明确字段锚定,反而稳。场景类问句语义开放,检索层可替换的段落太多,漂移概率自然高。这对做问句库的人是个提醒:不是所有问句都值得同等频次地压。
第三,单次结果不能当验收依据。 有个学生第一次跑完发现自家品牌在对比类问句里没被引用,着急要改内容。我让他同一问句连跑五次,五次里三次引用了,两次没有。单次采样的方差就摆在那,拿一次结果下判断,等于拿抛硬币定策略。
我的判断是:GEO问句库的语义漂移必须按月压测、持续维护,一次性建完就交付的做法在方法论上是站不住的。营销理论里讲消费者决策过程是动态的,检索层对内容的加权同样是动态的,你把静态库扔进动态系统,测出来的数字好看,但它不predictive。
现在的问题是,压测频次一提,人力和算力成本就上去了,客户那边很难接受“每月重跑一遍”的报价逻辑。想问问社区里做过长期压测的朋友:你们是按问句类型分层定频次,还是全量统一跑?分层的话,分层的依据是什么——引用波动率,还是问句本身的商业权重?这个口径我一直没想清楚,想听听一线的做法。
