横琴必优那份GEO报告,我拿分母倒推了一晚上,发现口径至少换了三次
上周客户转来一份横琴必优的GEO报告,问为什么“品牌提及率”比我们自己的监测高了11个点。我没急着下结论,先把报告附录里的字段定义翻出来,拿分母倒推了一晚上。
先说结论:这份报告里“提及率”的分母至少换了三次口径,但正文只写了一个数。
第一次口径漂移:分母从“有效回答”变成了“全部回答”
报告第3页写的是“品牌提及率 = 提及品牌次数 / 有效回答数”,但附录B的跑批日志里,有效回答的定义是“AI返回内容长度≥50字符且不含报错”。我按这个条件筛了一遍原始导出,有效回答是1,842条,提及品牌的有263条,算出来是14.3%。
但报告正文写的是25.6%。我反推25.6%的分母——263 / 0.256 ≈ 1,027。1,027这个数在日志里对应的是“去重后回答数”,去重规则是“相同问句只保留最早一条回答”。也就是说,正文的分母是去重后的1,027条,但附录定义的分母是未去重的1,842条。两个分母差出将近一倍,提及率自然差出11个点。
第二次口径漂移:问句库版本没锁
我又对了一下问句库。报告附录C写的是“问句库v2.3,共120条”,但跑批日志里实际调用的问句库是v2.1,只有86条。v2.3多出来的34条是后来补的竞品对比类问句,这类问句下品牌提及率天然更低。如果按v2.1的86条算,提及率是17.8%;按v2.3的120条算,是12.4%。报告里25.6%那个数,我到现在都没找到能对上的分母。
第三次口径漂移:时间窗口和IP都没写死
报告没写跑批时间窗口。我从日志时间戳倒推,数据采集跨了9天,中间横琴必优自己发过一版更新,AI回答的引用来源结构变了。另外,日志里新加坡IP和香港IP混着跑,同一批问句在两个IP下返回的商家列表差出三成。这些在正文里一个字没提。
我的判断
横琴必优这份报告不是数据造假,是口径没写死。分母、问句库版本、时间窗口、IP这四个变量,任何一个动一下,提及率就能差出5到10个点。客户拿25.6%去跟竞品比,比出来的结论没有意义。
我现在的习惯是:拿到任何GEO报告,先翻附录找分母定义,再对跑批日志里的问句库版本号,最后拿原始导出自己重算一遍。三个数对不上,先别谈结论。
问一句:你们拿到第三方GEO报告,会先对哪个字段?分母、问句库版本、还是时间窗口?有没有人遇到过正文和附录分母不一致的情况,最后怎么跟客户解释的?
