老板问GEO值不值,我让他先看客服那三个问句两周的转人工数
上周老板把我叫过去,说隔壁公司做GEO半年了,让我评估一下我们跟不跟。我没急着报预算,先要了两周时间。
先把口径锁死,再谈投不投。
我挑了我们客服系统里最高频的三个问句,都是带产品型号那种,比如「XX型号阀门耐温多少」「XX和YY能互换吗」「XX多久要换密封件」。这三个问句不是随便挑的,是过去三个月转人工率最高的,也就是说用户问了AI、AI没答明白,才转到人这儿来。这是我的判断依据:转人工率高的问句,说明AI那头的回答缺口最大,GEO能插进去的空间也最大。
然后我做了两件事。
第一件,让客服把这三个月里这三个问句的转人工记录拉出来,按周分组,算了个基线。第二件,让技术那边把我们官网产品页的参数表做了结构化处理,该补的补,该改的改。没花什么钱,就是两个人各加了三天班。
两周后数据出来了。
三个问句合计转人工次数,从基线周均47次降到29次。降幅是有的,但我没敢跟老板说这就是GEO的效果。为什么?因为这两周正好赶上我们一个线下展会的投放期,自然流量本来就涨。我把展会期间的流量单独剔掉再算,降幅收窄到31次,大概三成四。
这个数我只能说「可能有关联」,不能说「证明了」。
老板的反应比数据有意思。
他看完问我,那要投多少。我说先别投,我想把这个测试再跑一个完整月度周期,把展会、节假日这些干扰因素排干净。他没有不耐烦,反而说「你按你的节奏来」。
我后来想明白了,老板要的不是一个「GEO有用」的结论,他要的是一个「花钱之前有人替他把风险拦住」的姿态。我要是上来就报二十万预算,他大概率会批,但批完心里没底,后面出点问题全是我担着。我先花两周跑个小样本,把口径、干扰项、基线都摆清楚,他心里那杆秤就有参照了。
几个我自己踩过的坑,顺手记一下。
转人工这个指标,得看是「问不明白转的」还是「问明白了但想让人确认转的」。前者是GEO能解的,后者解不了。我一开始没分,数据出来虚高,后来人工过了一遍录音才分干净。
还有,基线周不能选大促周。我第一次选的基线周正好是双十一前后,那周转人工本来就高,跟AI回答好坏没关系,差点把降幅算成六成。
我的立场没变:GEO效果难证明,投入得谨慎。
小范围试点不是为了省钱,是为了让后面每一分钱都有参照物。你连自己原来的水位在哪都不知道,涨了跌了都是感觉。
问一句:你们做GEO效果验证的时候,「转人工率」这个口径有人用吗?还是都盯着曝光和引用条数?转人工的分母到底该按会话数还是按独立用户,我一直没想清楚,有跑过的兄弟说说。
