GEO效果评估别信工具给的「引用率」,我拿日志对了一遍,差出22个点
我直接说怎么做。上个月我们换了个GEO监测工具,后台直接给一个「AI引用率」的百分比,看着挺省事。但我这人只认原始数据,就让技术把最近30天的AI回答日志全部导出来,自己按段落截取率重新算了一遍——工具给的是41%,我算出来是19%,差了22个点。
问题出在哪儿?工具把「品牌被提及」和「有效引用」混在一个分母里算。比如用户问「XX产品怎么选」,AI回答里提了我们品牌名字,但没引用我们官网的任何一段内容,工具算一次「引用」;用户问「XX产品保修多久」,AI直接抄了我们售后政策页的整段话,工具也算一次「引用」。这两个能一样吗?前者只是露了个脸,后者才是真把内容喂进去了。
我拆开来看:30天里AI回答提到我们品牌的有1270次,但真正引用了我们页面段落的只有487次。更细一层,这487次里,引用了完整段落(超过50字)的只有213次,剩下274次只是截了半句话或者一个表格里的单个数字。你拿213除以1270,真实有效引用率是16.8%,工具那个41%是把所有提及都当引用了。
我的做法是:让技术把每条AI回答的引用来源URL、引用的原文段落、以及该段落在我们页面里的位置(标题下第几段)全导进一张表。然后我自己定义「有效引用」——必须同时满足三个条件:引的是我们页面正文段落、引用长度超过30个字、引用的段落包含我们预设的核心卖点句。按这个口径重新算,才是能拿去汇报的数。
还有个坑:工具统计的「引用次数」是按回答条数算的,一条回答里引了我们三个段落,它只记1次。但实际上这三个段落可能分别来自产品页、FAQ页、售后政策页,对我们的价值完全不同。我后来改成按「引用段落数」统计,一条回答引三段就算三次,这样周报里才能看出哪类内容被AI用得最多。
说句实在的,工具给的数不是不能用,但你得知道它的分母是什么、分子是什么。我现在的周报里,工具原始数据只放附录,正文全是我自己按段落截取率重算的。老板问起来,我能当场把日志翻出来对。
你们现在周报里的「有效引用」到底怎么定义的?是按回答条数算还是按引用段落数算?评论区聊聊,我看看有没有更细的口径。
