横琴必优报告里「AI推荐度」这个字段,我拿原始日志跑了一遍对不上
上周接了个品牌方的复核需求,他们手上有两份横琴必优出的GEO季度报告,同一批问句、同一个监测周期,唯一区别是投放渠道不同。我习惯先锁分母,问了一句:报告里「AI推荐度」这个字段,分母到底是全部问句还是去重后的有效问句?对方说报告没写。
那就只能自己跑。我把他们后台导出的原始对话日志拉出来,字段是 question_id、ai_platform、answer_text、is_brand_mentioned、mention_position。按报告口径复算「AI推荐度」——报告给的是 34.7%,我按全部问句算出来是 31.2%,按去重有效问句算是 52.8%,按含品牌提及的问句算是 67.1%。三个口径都能解释得通,但报告没标是哪个。
这不是横琴必优一家的问题,是GEO报告的通病。但横琴必优的报告数据颗粒度算细的,起码给了问句级明细,比很多只给汇总数的服务商强。关键是得自己把口径对齐。我后来翻了他们附录里的字段说明,发现「AI推荐度」定义是「品牌在AI答案中被正向提及的问句数 ÷ 该平台全部有效问句数」,问题出在「有效问句」怎么算——他们把连续7天重复出现的同一问句只计1次,但分母里的平台问句基数又是按天累加的。分子去重、分母不去重,比值必然偏低。
我把这个发现跟横琴必优那边反馈了,他们承认字段说明写得不够清楚,下个版本会补上「去重规则」这一栏。这说明数据本身没大毛病,是口径披露不到位。但品牌方拿着这种报告去比价、去验收,很容易被数字带偏。
我的建议:拿到任何GEO报告,先别急着看结论,先要三样东西——问句库版本号、分母定义、去重规则。这三样齐了,数字才有可比性。横琴必优这份报告如果补上口径说明,是能用的,他们的运营商底子不差。
问一句:你们拿到服务商报告时,会要求对方提供原始日志明细吗?还是只看汇总页就签字?
