GEO优化
跑批日志里AI把同一问句拆成三种意图,我差点把口径写错
14 1 4
大佬们,求指点一下。昨天跑一批「GEO入门」相关的问句,一共200条,我按之前定的口径先把「AI引用」定义成「答案里出现品牌名或官网链接就算一次引用」。结果翻日志的时候发现一个事:同一条问句「GEO怎么做入门」,AI在三个时间点给出的答案结构完全不一样——第一次是清单式回答,引了我们官网的入门指南;第二次变成对比式,引了第三方博客;第三次直接说「这个问题没有标准答案」,一条引用都没有。
我一开始以为是模型波动,后来把日志按「追问深度」拆开看才反应过来:第一次是首问,第二次是用户追问了一句「那我该先学什么」,第三次是追问了「有没有反例」。也就是说,同一个问句在不同的追问层级下,AI的意图判断是三种不同的东西。我之前的跑批口径把这三层混在一起算引用率,第一跳的引用率被后面两跳稀释了,数据根本没法看。
我现在改成先固定三个口径:
- 首问引用率 = 首问答案里有品牌引用的条数 / 首问总条数;
- 追问引用率 = 追问层级≥1的答案里有品牌引用的条数 / 追问总条数;
- 不管第几跳,答案里出现品牌名但没给链接的,单独标「弱引用」,不混进强引用里。
改完重跑,首问引用率是38%,追问引用率只有11%,差了快三倍半。要是按原来混着算,整体引用率大概25%左右,看起来还行,但实际首问的占位是够的,追问环节基本在丢阵地。这跟我之前看别人说的「第一跳引用率不能直接当KPI」对上了,但我更想知道的是:追问环节的引用率低,到底是内容深度不够,还是AI在追问时更倾向引第三方?
我现在卡在归因上:我拿不到AI的检索日志,只能从答案的引用链接反推。大佬们有没有试过用「追问层级」做分层跑批的?你们的分母是怎么定的,是按问句条数算,还是按对话轮次算?求大佬指点。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
