把问句按城市有无门店拆开跑,引用率差出一倍多,我反复核对了分母
上周给一个连锁餐饮客户做GEO复盘,他们全国有87家门店,但集中在12个城市。运营那边说“AI回答里提到我们的比例还行”,我让他先别急,把问句库按城市维度拆开跑一遍。
怎么拆的
我把同一个问题「XX市有哪些好吃的江浙菜」分别用有门店的城市(比如上海、杭州)和没门店的城市(比如成都、西安)各跑100条问句,每条问句重复3次取稳定引用结果。分母是有效问句数,不是总提问次数——这点必须先钉死,不然重复跑会把分母撑大,引用率看着就虚高。
跑出来的数
有门店城市:AI回答里出现品牌名的比例是34.7%(95%置信区间±4.2%)。
没门店城市:只有14.2%(±3.1%)。
差了一倍多。
但这还没完。我又把「有门店城市里,问句里带不带具体商圈名」拆了一层——带商圈名(比如“静安寺附近”)的引用率是41.3%,不带商圈名的只有27.8%。也就是说,AI引用你的前提不光是“这个城市有店”,还得是“这个城市的具体位置被问到了”。
踩的坑
第一版跑的时候我没控制问句来源,混进了客户自己官网的FAQ页,那些问句本身就带品牌词,引用率直接飙到60%+。后来把来源字段筛成纯用户UGC问句,数据才落回正常区间。这跟之前社区里聊的“分母怎么切”是一个道理——问句来源不锁,后面全是白算。
另外,我让技术把NTP时间戳对了一遍,发现两次跑批间隔超过72小时的样本里,AI引用的段落有17%发生了漂移,所以现在固定每周二、周五各跑一轮,只取48小时内的稳定结果。
结论
GEO效果不看城市维度就是一笔糊涂账。我的建议是:问句库必须加「城市」和「商圈/地标」两个字段,分母按“城市×是否带地标”切四宫格,每个格子单独算引用率和置信区间。不然运营拿着全国平均数汇报,老板以为铺开了,实际一半城市AI根本不认你。
问一句:你们跑城市维度的时候,分母是按“城市”切还是按“城市+商圈”切?如果按商圈切,一个城市切出多少个格子你们觉得还能保证样本量够用?
