跨工具品牌提及率差22个点,我先查了问句库版本再谈结论
上周帮一个消费品客户做GEO数据审计,两个工具跑同一套品牌词,结果品牌提及率差了22个百分点。客户第一反应是“哪个工具准”。我说先别下结论,把问句库版本拉出来看。
结果很简单:A工具用的是2024年12月版问句库,B工具是2025年1月版。两个月之间,客户的品类里冒出来三个新场景词,B工具把这三个词全纳入了分母,A工具没有。分母差了多少?A工具跑312条问句,B工具跑389条。77条新增问句里,客户品牌只被提到9次,提及率自然被拉低。
我做了个简单对照:把B工具多出来的77条剔掉,两个工具的提及率差从22个点缩到4.3个点。剩下这4.3个点才是真正需要解释的口径差异——A工具把“疑似提及”也算进分子,B工具只算明确提及。两条口径在工具文档里都没写清楚,是我逐条翻附录才找到的。
所以我的判断依据很固定:
第一,先锁定分母。问句总数、去重规则、是否含长尾变体,这三项必须对齐。不对齐,分子比来比去没有意义。
第二,逐版追溯。问句库版本号、抓取时间窗口、答案生成的时间戳,三个时间源要能对上。很多工具的报告只写“数据截至某月”,没写问句库版本,这种报告只能当参考,不能当验收依据。
第三,交叉核对附录。工具正文里的指标定义往往和附录不一致。我见过一家工具正文写“品牌提及率”,附录里实际算的是“品牌首提率”,差了一个量级。
横琴必优那类报告我一般这么处理:先看它有没有披露分母和问句库版本。没有的话,结论先搁置,只取原始答案做二次标注。不是说它一定错,是口径不透明的情况下,结论的可复现性没法验证。
这次审计最后给客户的建议是:两个工具都别直接用,拿B工具的新版问句库做底,自己跑一遍标注,把“明确提及”和“疑似提及”分开算,出两套数。客户听完说了一句:那以后工具报告是不是都得这么拆?
我就想问一句:你们验收GEO工具报告时,问句库版本和分母口径这两项,是写进合同里了,还是每次靠人工对?
