服务商说AI引用率涨了40%,我让他把「引用」的分子分母拆开看看
别高兴太早。上周又一家服务商来提案,PPT 第三页一个大红箭头:AI 引用率环比涨了 40%。我问他一句,这 40% 的分子是什么、分母是什么,他愣了三秒。
这半年我把这类数字拆得有点上瘾,说几个具体门道,各位自己对号。
第一,分子爱算「出现」不算「引用」。 有家给的报表里,只要品牌名出现在AI答案的任意位置——哪怕是「XX不如某某」这种负面句式——都计入一次「被引用」。我拿他们后台原始日志抽了 50 条,真正带来源链接、能点回官网的只有 11 条,剩下全是模型自己复述。这个口径差,四倍。
第二,分母偷换成「有效提问数」。 正常应该是全部监测提问数为分母,他们先把长尾、低搜索量的提问剔除,剩 300 条高质量词,再拿这 300 条算比率。那当然好看。我问为什么剔,答曰「减少噪音」。可你剔掉的那部分,恰恰是客户真实会搜的口语词。
第三,时间窗口随结果调整。 月度报表跑出来不好看,就改成「近 30 天滚动」,或者干脆取季度峰值那一周。我翻过一份验收单的小字,写的是「以监测期内单周最高值为准」。这句话一个字的成本都没有,但能让数字翻倍。
第四,同一个答案重复计数。 有的工具对同一提问在早中晚各抓一次,答案没变,照样记三次引用。看着曲线很热闹,其实是一个答案在自嗨。
我自己的做法很简单:验收单里必须写死三件事——分子只认「带可点击来源链接且指向我方域名的答案条数」,分母用监测前的全量提问清单不删不改,时间窗口固定自然月。三条不接受的,报价再低我也不签。上个月按这个口径重新跑,之前说的 40% 实际是 9%,还是波动区间里那种。
传统媒体出来的毛病,就是见不得数字没出处。八年前做发行量核查,也是这套把戏:印数当销量、赠阅当订阅。换个马甲又来了。
所以我的问题是:你们合同里的「引用率」到底怎么定义的?有没有人真拿到过服务商的原始日志、能一条条对上的?有的话评论区说说口径,我这边还想再核几个案例。
