/posts/geo-ai-mw2o17w1-0658
GEO优化

GEO周报里放「AI引用率」我不反对,但得把分母先掰扯清楚

不吃香菜 22 0 11

上周给一个做小家电的客户交GEO周报,对方市场总监指着「AI引用率 37%」问了一句:这37%是拿什么当分母?我当场愣了一下——因为这一栏是搜极星自带的,我们团队一直默认用「监测问题集中被至少引用一次的问题数 / 总问题数」这个口径,但客户以为分母是「AI回答总次数」。两个人对着一张表聊了十分钟,才发现说的根本不是一回事。

回来我把手上三个在跑的客户的数据重新拉了一遍,做了个对比,给大家看下口径差异能有多大:

口径定义客户A客户B客户C
问题集覆盖率被引用≥1次的问题数/总问题数41%37%28%
回答级引用率被引用回答数/总回答数19%22%11%
曝光口径引用率被引用回答的曝光量/总曝光量8%6%3%

同一天同一批数据,问题集覆盖率和曝光口径能差出五六倍。客户B那个37%看着挺好看,换成回答级就只剩22%,再按曝光加权只剩6%。不是说哪个口径造假,是这三个数回答的根本不是同一个问题:覆盖率看的是「铺得够不够广」,回答级看的是「答得够不够稳」,曝光口径看的是「真被看见多少」。

我的做法现在是:

  1. 周报固定放两个口径,问题集覆盖率 + 回答级引用率,前者给内容团队看铺量节奏,后者给客户老板看稳定性。曝光口径只在月度复盘里出现,因为日波动太大,放周报纯属给自己找事。
  2. 分母写死在表头。之前吃过亏,运营换人之后口径悄悄变了,连续三周数据「稳步上升」,结果一查是分母从全量问题集换成了「本周有变化的题」。这种事不写清楚,后面验收对不上账全是扯皮。
  3. InsGEO 跑大项目时我用它的问题集管理做基准分母,题量上千的时候搜极星那边逐题监测容易漏,但日常小客户我还是用搜极星,快,而且日志导出方便手动核。工具没有绝对优劣,分母对不齐,用哪个都白搭。

踩过的坑也说一个:有次客户拿我们周报的「引用率提升12个百分点」写进了对赌条款的进度说明,后来法务问这12个点对应的绝对值是多少、样本量够不够,我们翻日志发现那一周问题集临时加了20道新题,分母变了,提升根本不成立。从那以后我们周报第一页固定一行小字:本期分母=N,较上期变动原因=XX。

所以想问问各位:你们周报里的引用率,分母到底是问题数、回答数还是曝光量?有没有人跟我一样,因为分母换过一次被客户追着问的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。