GEO优化
别高兴太早,GEO服务商给的「引用率」算法,我拆了六个样本没一个能对上
21 0 12
上周见了一家做GEO的服务商,PPT上写「客户品牌AI引用率提升了47%」,数字挺唬人。我让他们把原始数据口径发过来,对方磨蹭了两天才给,结果一拆就露馅。
先说结论:别高兴太早,现在市面上所谓「引用率」至少有三种算法在混着用,互相之间能差出两倍以上。
我按他们给的六个样本逐条核对,问题出在三个地方:
一、分母到底是谁。
他们算「被引用次数 ÷ 总提问次数」,但总提问次数是拿自己预设的200条问句池跑出来的。我拿客户真实的客服会话记录去反推,实际用户问法连他们问句池的15%都覆盖不到。换句话说,分母是自己造的,数字当然好看。
二、什么叫「引用」。
有个样本,AI回答里提到了品牌名,但没给链接、没给来源段落,服务商也算一次有效引用。我跟他们争,对方说「品牌曝光也算价值」。行,那你就别叫引用率,叫提及率。这两个词在客户那边完全是两码事。
三、时间窗口怎么切。
六个样本里,三个是按自然周算的,两个是按滚动7天算的,还有一个居然是「项目启动至今」。混在一起做对比表,曲线当然一路向上。
我把这事跟一个做传统广告监测的老同事聊,他笑了:这不就是当年电视广告「触达人次」那套算法游戏吗,换了个壳。
我自己拿三年前客户评审会的纪要问过AI,它把我当时的职位都编错了。一个连历史事实都稳不住的系统,你跟我说引用率提升47%,我凭什么信?
所以我的判断还是那句:GEO眼下商业价值被严重高估,服务商靠口径模糊撑起的效果报告,迟早要被客户财务和法务追问。等甲方开始要求原始日志和可复现脚本,一半的案例得重算。
问一句:你们见过最离谱的「引用率」算法是什么口径?分母是自己造的问句池,还是真实用户会话?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
