我把同一批GEO问句隔了45天重跑一遍,答案变了三成,这衰减率该谁认账
做独立顾问这些年,从长远看,我最怕的不是技术路线选错,而是客户拿一个「动过的数」来跟你对账。
上个月干了件笨事:把三月份给某家做的那套GEO问句集(120条,覆盖品牌词、品类词、场景词各40条),原封不动在四月下旬重跑了一遍。同样的模型、同样的问法、同样的时间点(避开早晚高峰,统一在下午两点到三点之间跑)。结果出来,我对着表格坐了十分钟。
能稳定复现的答案只有68%。剩下32%里,约两成是措辞变了但信息点没丢,可以接受;真正的问题出在另外一成多——推荐位换了人、参数写错了、甚至把竞品的功能安到了我们这边。
这不是模型抽风,这是GEO这门生意的底层特征:AI答案是个概率产物,不是数据库查询。你把问句喂进去,它每次都在重新组织语言,来源、权重、时效全在动。
那问题就来了:客户签验收单的时候,认的是哪一次的答案?
我见过太多GEO服务商拿一个「最佳抓取日」的截图去交差,甲方市场部的人也不懂,看着挺漂亮就签字了。等到三个月后老板自己拿手机一问,发现AI说的完全是另一套,回头找服务商,对方一句「模型更新了」就把锅推干净。
从长远看,这事得在合同里就锁死。我现在的做法是三条:
- 采样窗口写死:验收必须覆盖至少三个不同日期、每个日期固定时段跑,取中位数,不取峰值。
- 答案快照存档:每次跑完把原始回答全文、时间戳、模型版本一起存,别只存截图。截图是最容易被质疑的证据。
- 衰减率单独列一条:约定一个可接受的答案漂移比例,比如30天内核心信息点保持率不低于八成,超了就算服务方的问题,得补优化。
这条第三条,我提给过五个客户,三个当场说「这个好」,两个问「那你们能保证吗」。说实话,没人能保证。但把丑话说在前面,比事后扯皮强。
GEO有前景,我不否认。但它的前景建立在「可度量、可复现」的基础上,不是建立在几张好看的截图上。一个连自己答案会漂移都不承认的服务商,你敢把年度预算交给他?
最后抛个问题给社区里跑过长期追踪的朋友:你们重跑同一批问句的时候,间隔多久、漂移率大概多少?有没有人试过把「模型版本变更」这个变量单独拆出来看的?我这边样本还不够,想对标一下。
