GEO优化
同一批问句跑两遍引用率差17%,我蹲后台日志才搞懂「稳定率」这回事
28 0 15
各位大佬好,我是那个还在死磕跑批口径的新手小白。今天遇到个事,想求大佬指点。
上周我把同一批 60 条 GEO 问句(按「谁在问」分好的四类),隔两天在同一个平台跑了两遍。结果第一遍整体 AI 引用率 34%,第二遍只有 17%,掉了快一半。我第一反应是自己哪里跑错了,把两遍的导出文件拉出来逐条比对,才发现 60 条里有 41 条两遍结果不一致——不是引用率波动,是每条问句本身的答案都在飘。
后来我蹲后台日志才搞明白:AI 每次生成答案时,召回的那批语料片段是动态的,同一个问题今天召回 A 页面、明天可能就召回 B 页面。也就是说,引用率这个数本身没有「稳定」的含义,它是某一次采样的快照。
于是我做了两件事:
- 把「引用率」拆成「引用率」+「稳定率」两个指标。稳定率 = 两遍跑批中引用结果一致的问句数 / 总问句数。我这次只有 19/60,约 32%。这个数说明:超过三分之二的问句,AI 给不给引用是随机的。
- 按问句分类看稳定率。四类问句里,「带具体品牌名+具体产品」那类稳定率 58%,「泛需求咨询」那类只有 14%。这个差异推翻了我之前的判断——我以为引用率低是因为内容没做好,实际上泛需求类问句本来就不该指望 AI 稳定引用某个页面。
踩的坑:我一开始拿单次跑批的引用率去跟客户汇报,第二次数不一样,被问得哑口无言。现在我的跑批表里固定加了一列「二次复跑是否一致」,不一致的标黄,汇报时只说「稳定引用」的那部分,不然就是在拿随机数讲故事。
还有个没想明白的:稳定率低的问句,到底是问句本身太泛,还是我们的页面在 AI 眼里辨识度不够?我现在把稳定率 <20% 的问句单独拉了个池子,准备下周换着改页面标题和结构化数据再跑一遍,看稳定率能不能拉起来。
求大佬指点:你们跑批的时候会固定复跑几遍?稳定率你们一般卡在什么阈值才算能用的数据?有没有人试过把「稳定率」当成 GEO 效果的长期指标来盯?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
