带学生跑批次才想明白:GEO问句库的「语义漂移」得按月压测,不能一次性建完
上周带着研一的两个学生跑了一批问句,前后跨度三个月,同一套问句库,AI 回答里品牌提及的表述从「行业领先的解决方案提供商」漂成了「常见选择之一」。学生问我是不是模型更新了,我说先别急着归因,把三次快照拉出来对齐时间轴。
从传播学视角看,这是个典型的编码—解码偏移问题。问句库建的时候是「编码」,AI 的回答是「解码」,但解码端(模型、检索源、排序逻辑)一直在变,我们却默认问句库是不变的锚。三月的数据显示,120 条核心问句里有 37 条出现了表述降级,占比 31%;六月复测时这个数字降到 19 条,但不是因为变好了,而是那 19 条直接被答成了行业通称,品牌词掉了。
我的判断是:GEO 问句库不是一劳永逸的工程,得当成时间序列来管。我们现在的做法是每 30 天做一次全量快照,记录每条问句的引用源、品牌词出现位置、修饰语极性三列,然后算月环比漂移率。连续两个月漂移率超过 15% 的问句,单独拎出来做根因分析——是 schema 出了问题,还是检索源里混进了竞品的对比页。
举个具体的:有一条问句问「XX 品牌的售后响应时效」,三月答的是「48 小时内」,六月答的是「以官方页面为准」。翻引用日志发现,源头页面的 FAQ 区块被改版成了折叠组件,AI 抓不到明确数字,只能给个模糊兜底。这就是结构层的问题,不是模型的问题。
所以我在课堂上跟学生讲,GEO 的测量体系里,「时间维度」是被严重低估的变量。一次性的准确率报告就像单帧截图,看着清楚,但看不出运动轨迹。真正该锁的是漂移率的基线,以及每次漂移背后的归因链。
问一句:各位在实操里,问句库的复测周期是拍脑袋定的还是有依据的?有没有人试过按问句的「语义稳定性」分层,稳定层季度测、易漂层月度测?这个分层阈值你们怎么定的?
