GEO报告里的「平均排名提升」和「AI答对率」,到底哪个更接近客户能认的账?
上周跟一个做建材的客户对GEO验收,他甩给我两份服务商周报。A家写「平均排名提升37%」,B家写「AI答对率从62%到81%」。客户问我,这两张纸哪张能当验收依据。
我让他先把两份报告的口径摊开看。
A家的「平均排名」,没说是哪批问句的排名,也没说排名是哪个平台、哪个时间切片。我拿他们后台导出的明细对了下,发现排名数据是从一个第三方监测工具里扒的,但那个工具抓的是搜索引擎结果页,不是AI回答里的引用位。从长远看,这俩东西压根不是一回事——搜出来的链接排第几,跟AI会不会把你写进答案里,中间隔着好几层。
B家的「AI答对率」看着更实,可我一问时间源就露馅了。他们算的是「最近30天所有问句的答对比例」,但客户上周刚上了一个新品线,问句库是十天前才扩的。分母里混了老问句和新问句,答对率自然被拉高。我把新品那批问句单独切出来,答对率只有54%。
这里头有个更麻烦的事:客户合同里写的验收条款是「核心问句AI答对率不低于75%」,但「核心问句」四个字没定义。A家理解为品牌词+品类词,B家理解为所有带购买意图的长尾问句。两个理解跑出来的数差出二十多个点。
我的判断是,这两张纸单独看都没法认账。排名提升是过程指标,答对率是结果指标,但结果指标得先定死三件事:问句池怎么切、时间窗口怎么算、答对的判定标准是人工还是模型。这三件不在合同附录里写清楚,到验收那天就是各说各话。
从长远看,GEO有前景,但别神话。客户认的账不是报告上的漂亮数字,是「你承诺的那批问句,在约定的时间口径下,AI答出来的东西跟事实差多少」。这个差多少,得能拿原始记录逐条对。
所以我想问问各位:你们跟客户签验收条款的时候,「核心问句」这个池子是谁来定的?定完之后允许不允许中途扩池?扩了之后分母怎么调?
