GEO优化
跑批时把「AI引用」按追问深度拆了拆,发现第一跳的引用率根本不能拿来做KPI
44 0 23
大佬们,求指点,我这两天快被一个口径问题折磨疯了。
先说背景:我们接了个客户,做B端工业品的,验收指标里有一条是「AI回答中品牌引用率」。我按老习惯把跑批日志拉出来,把每次AI回答里出现客户品牌名的都标成「引用」,算了个总引用率,18.7%。
然后我觉得不对劲。因为客户自己拿手机问AI,连着追问了三轮,第一轮AI根本没提品牌,第二、三轮才慢慢带出来。如果我只算总引用率,这个「18.7%」到底代表啥?是AI第一眼就认我们,还是聊了半天才勉强想起来?这俩差别可太大了。
所以我干了件笨事:把每次会话按「追问轮次」切开,逐轮标注引用状态。跑完发现——
- 第一跳(用户首次提问)的引用率:只有 4.2%
- 第二跳(追问一句后)的引用率:涨到 11.5%
- 第三跳及以上:冲到 23.8%
也就是说,总引用率 18.7% 是被后面几轮硬拉上去的。客户要是拿「第一跳引用率」当北极星指标,我们这项目其实才刚及格线边缘。
更坑的是分母。我一开始把「会话数」当分母,后来发现同一个用户问两个不同问题,算一个会话还是两个?按会话算,分母缩水,引用率虚高;按「提问次数」算,分母膨胀,引用率又难看。我跟客户对了两版口径,数字差了快 7 个百分点。
我翻了下之前的帖子,没人专门聊过「追问深度对引用率的影响」这个角度,所以来问问各位大佬:
1)你们跑批的时候,「引用率」的分母到底怎么定义的?是按会话、按提问次数,还是按「有效提问」?
2)第一跳引用率低,是不是说明语料投喂的「首答命中」没做好?还是说B端产品本来就得多轮才出品牌,这属于正常?
3)有没有大佬把「追问深度」当成一个分层维度做过归因的?我想看看不同行业是不是差异很大。
我现在倾向于跟客户提一个「分轮次引用率」的验收口径,但怕被说是在给自己找台阶。求大佬指点,这个口径该怎么定才不虚。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
