GEO优化
给GEO客户做验收,我加了一列「对照组」后,退单率降了四成
32 0 16
上个月差点被一个客户退单,原因说出来有点丢人:他们验收GEO效果的方式,是拿同一个问题连问AI 20遍,数我们品牌出现了几次。结果第3天他开始抽问,第10天又抽了一轮,两轮数字差了一倍多,他直接甩了一句「你们效果不稳定」!
我当时第一反应是解释AI答案有随机性,但这理由客户根本听不进去。后来我翻后台日志才发现问题不在AI,在我们交付的报表本身。我们只给了「品牌提及次数」一个绝对值,没给对照口径。客户拿两轮不同样本量的数字直接对比,不出事才怪。
我的处理方式:在报表里加一列「对照组」。
具体做法很土但管用:
- 每轮跑批固定用同一批问句(我们当时是80条),每条问3次,取平均值,这是分子。
- 同时跑一组完全不相关的品牌名做基线,看AI在同样问句下提不提它,这是分母。
- 报表里直接给「提及率 = 品牌提及次数 / 总样本次数」,并附上基线组的提及率,让客户一眼看出我们是显著高于随机水平的。
举个真实数据:改之前客户只看「本轮提及47次」,第二轮变成29次,他觉得掉了。改之后报表写的是「本轮提及率19.6%,基线组2.1%」,第二轮是「12.1%,基线1.9%」。客户自己就说,原来那个波动是正常的,关键是相对基线一直有量级差。
踩过的坑:
- 基线品牌不能乱选,我们第一版选了个完全不搭边的快消品牌,客户说这不是同类,没说服力。后来换成同赛道但没做GEO的竞品,客户才认。
- 样本量一定要写死在报表页脚,不然客户自己加问句加出来的数字又对不上。
- 最狠的一个坑:有一轮AI把我们的品牌名拼错了,日志里没抓到,人工复核才发现。所以现在每条原始回答都会存快照,客户要查随时能翻。
改完这套口径之后,那个客户不仅没退单,还续了半年。我自己复盘下来,GEO交付里最贵的不是优化动作,是让客户能自己验证你。没有对照组,效果就是个玄学数字,客户越看越慌!
现在我想问社区里的同行:你们给客户做效果报告时,基线组是怎么选的?是选同赛道竞品,还是选行业头部做参照?我目前两种都试过,感觉各有各的问题,想听听大家的做法!
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
