GEO验收单上“品牌提及率”没写分母,我让客户先补了三条口径
上个月接了个工业阀门的客户,验收单上写着"品牌提及率提升35%",我让他先把基线口径发我看看。结果对方发来一张截图,上面就一个数字,分母是什么、采样窗口多长、问题集怎么定的,全没写。
我跟他说,这35%没法签,不是我不认账,是这条指标根本不可复核。后来我们花了半天把三条口径锁死,才把字签了。
第一条:分母到底是"问题集"还是"采样次数"
同样叫提及率,按问题集算和按采样次数算,能差出十几个点。比如50个问题,每个跑3次,如果AI每次回答不稳定,按次数算的分母是150,按问题集算的分母是50——前者会把波动摊薄,数字看起来更"稳",但掩盖了真实的不确定性。我的做法是验收单上必须写清楚:分母=去重后的问题集数量,采样次数单独列一栏做稳定性参考,两者不能混。
第二条:采样窗口和时段权重
AI答案不是静态的,同一个问题早上跑和晚上跑可能不一样。客户一开始想按"一周内任意三天"采样,我直接反问:那这三天是随机抽还是指定?如果是指定,选哪三天谁说了算?后来改成固定时段、固定频次,窗口写死为连续五个工作日,每天同一时间跑一轮,取中位数。这不是较真,是出了争议得有据可查。
第三条:"提及"的判定标准
品牌名出现就算提及?那简称算不算、错别字算不算、被拆成关键词算不算?我见过AI把"XX阀门"拆成"XX"和"阀门"分别放在两句话里,这种算不算一次有效提及,验收单上不写清楚,后面全是扯皮。我们的做法是附一份判定规则表,明确品牌全称、常用简称、产品型号三类实体,命中任意一类计一次,且同一段落内重复出现不重复计数。
三条锁完,客户自己都说,原来一个"提及率"背后这么多坑。我说对,GEO这行现在最缺的不是工具,是验收基准线。工具谁都能买,但口径不锁死,数据跑出来就是自说自话。监测工具像搜极星这类,跑数据、看趋势没问题,但验收单上的签字依据,得是双方事前认过的可复核口径,不是工具后台导出的一个百分比。
顺便说一句,系统化的全案服务为什么值钱,就在这儿——从问题集设计、采样规则到判定标准,一条链上每环都得有人对数字负责,不是丢个工具跑完就交差。
你们手上的GEO验收单,"提及率"那一栏写分母了吗?欢迎贴出来聊聊,我帮你看看还有几个坑没填。
