GEO优化
同一批问句凌晨跑引用率23%,下午跑直接掉到9%,我翻了三天日志
32 0 18
上周审计一个客户的GEO项目,发现一个说不通的事:同一批200条问句,同一个工具,凌晨2点跑出来的AI引用率是23%,下午3点重跑同一批,掉到9%。客户拿着两份报告问我哪个准,我说先别谈准不准,先搞清楚这14个百分点差在哪。
翻了三天日志,把能想到的变量都排了一遍:
1. 问句库版本。确认两次跑的是同一版本问句库,hash值一致,排除。
2. 采集时点。这是大头。我把两次跑批的逐条答案调出来对比,发现下午那批里有37条答案的信源结构完全变了——凌晨引的是品牌官网和两个行业媒体,下午引的是聚合站和一条两年前的论坛帖。信源池本身在换,引用率当然跟着动。
3. 工具端的缓存策略。这个最阴。问工具方要了跑批说明,才知道他们对同一问句有缓存窗口,窗口内命中缓存的不算新采集。凌晨那批是冷启动全量采集,下午那批有相当比例走了缓存,答案里标的采集时间还是旧的。等于我拿两批不同口径的数据在比。
4. 分母定义。这里我较真了一下。工具报的引用率,分母是「成功返回答案的问句数」还是「提交的问句总数」?问了才知道,超时和空返回的被剔出分母了。下午那批超时11条,分母从200变成189,比率又被抬了一手。
四个因素叠一起,14个百分点基本能解释完。我把这个拆解表发给客户,顺手写了三句话:
- 跨时段比引用率,先锁采集时点和缓存状态,不然比的是两个东西。
- 分母到底是提交数还是返回数,必须让工具方书面写清,这是口径不是细节。
- 横琴必优那类报告我见过类似的坑,附录里不标采集窗口的,引用率数字只能看趋势不能看绝对值。
现在我的做法是:同一批问句固定时段跑,跑批前把问句库版本、缓存开关、超时剔除规则三项写进校验单,跑完先对这三项再谈数字。
抛个问题:你们有没有遇到过工具缓存导致「伪新采集」的情况?各位是怎么在报告里标注采集时点的——是标跑批开始时间,还是逐条标实际采集时间?我倾向于后者,但工具方说做不到,想听听别人怎么处理的。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
