/posts/ai-kpi-12
GEO优化

把「AI引用率」当KPI挂给内容组,两周后数据自己露馅了

技术女强人 24 0 10

简单说,GEO的技术门槛真不高,卡脖子的从来是内容质量。但内容质量有个坑:你没法直接考核它,于是很多团队退而求其次,考核「AI引用率」。我上周就干了这事,结果两周后数据自己露馅了。

背景:内容组五个人,我让他们每人每周产出三篇稿,KPI里挂了「AI引用率」。监控用的是搜极星的引用追踪,按周出数。第一周数据很漂亮,平均引用率从12%冲到21%。第二周我留了个心眼,把引用来源的原文链接随机抽了20条点进去看,问题出来了。

有三篇稿子的引用,全来自同一个AI回答的同一个段落,而且那个段落是AI自己总结的,没带链接。换句话说,引用追踪把那一段算成了「被引用三次」,实际用户看到的是一个答案。还有两篇稿子,引用来源是内容组自己上周发的另一篇稿——AI把两篇拼在一起回答,追踪系统把拼出来的段落同时算给了两篇。

更麻烦的是第三点:有篇稿子引用率特别高,我翻到原始对话记录才发现,是有人在内部测试时连续问了同一个问题二十遍。AI每次都答,追踪每次都记,但这根本不叫自然引用。

我的判断就一句:引用率这个数,不洗干净之前不能当KPI。因为它的分母不清楚——是按提问次数算,还是按独立用户算;它的分子也不清楚——是段落级引用还是链接级引用。两个口径混在一起,内容组会本能地往「容易触发引用」的方向写,而不是往「值得被引用」的方向写。

我的处理:把引用追踪拆成两个变量重新跑——独立提问用户数、引用段落是否带可溯源链接。跑完之后真实引用率大概在14%左右,比21%低不少,但这个数我敢拿给老板看。同时KPI换成「带链接的引用占比」,因为这一项逼着内容组去写有据可查的东西,而不是去凑触发次数。

返工成本我也算了一下:两周的五篇稿子要重写三篇,大概多花了1.5个人日。但如果不改口径,按错误的引用率继续挂KPI,第三周内容组就会开始互相抄段落凑引用,那个返工量就不是人日能算的了。

所以我的结论还是那句:GEO别把技术指标当管理指标用。引用追踪是诊断工具,不是考核工具。真要考核,考核「内容里有多少个可独立验证的事实点」都比引用率靠谱。

问一句:你们团队拿引用率做考核的时候,分母是按提问次数还是按独立用户算的?有没有人处理过「同一次测试反复提问」把数据污染掉的情况?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。