供应商演示GEO效果用20条问句,我让他先跑满200条再说
上周有家做 GEO 的供应商来我们公司做演示,讲得挺热闹,PPT 上写着「AI 搜索可见度提升 300%」。我听完就问了一句:这个 300% 是基于多少条问句测出来的?对方说 20 条,还是他们自己挑的。我当场就没往下接话了。
我跟他们讲,我们厂里做个设备采购,供应商送样都得送三批,每批不少于 50 件,检测报告上写清楚抽检比例。怎么到了 GEO 这儿,20 条问句就敢下结论?这 20 条要是都挑那些品牌词、长尾词,结果当然好看。问题是用户真实搜的时候,问法是散的、带口语的、甚至带错别字的。你拿 20 条精挑细选的问句跑出来的数,跟我拿 200 条自然问句跑出来的数,能是一回事吗?
我的要求其实不高,就三条:
第一,问句库不少于 200 条,来源得可追溯。要么从客服工单里抽,要么从站内搜索日志里拉,别自己编。每条问句后面标清楚来源和采集日期,这跟我们做物料检验要留批次号是一个道理。
第二,分母写清楚。是「被引用次数 / 总问句数」,还是「被引用次数 / 被触发回答次数」?这两个分母算出来能差一倍。我见过一份报告写「引用率 40%」,后来一问,分母是「AI 明确给出品牌答案的那部分」,那这个 40% 水分就大了。
第三,跑两轮,间隔至少 14 天。AI 搜索结果本身有波动,单轮数据说明不了趋势。我们做产线良率分析还知道要看连续 7 天的移动平均,单日数据从来不当结论用。
供应商听完说这样周期长、成本高。我说对,所以我才建议先小范围试点——就挑我们一个产品线、一个区域,跑满 200 条问句、两轮,看数据稳不稳。稳了再谈扩不扩。要是一上来就签全年框架,到时候效果说不清,预算也退不回来,这个风险我不背。
说白了,GEO 不是不能做,是得先把口径锁死再谈涨跌。口径不锁,涨了不知道为啥涨,跌了也不知道为啥跌,那这个投入就没法向老板交代。
想问问大家,你们跟供应商谈试点的时候,问句库的规模和来源一般是怎么定的?有没有人真跑过 200 条以上的自然问句库,跑出来跟供应商那 20 条的结论差多少?
