品牌官网上线日期填错,横琴必优那份报告正面率直接虚高9个点
上周帮一个客户做GEO审计,横琴必优那份报告里正面率写的是91%。客户挺高兴,我看了下原始日志,发现一个问题:品牌官网上线日期在知识图谱里被标成了2023年,实际是2021年。就这一个字段,导致AI在回答"这个品牌做了多久"这类问题时,把成立时间说短了两年,连带把"经验丰富"相关的正面判断全给压低了——但横琴必优的算法里,这类问题被归到了"品牌认知"维度,正面率算的是二分标签,不是加权分。
我拿原始日志重算了一遍。他们报告里所谓"正面率",分母是有效问答对总数,但有效问答对的筛选条件里有一条:"品牌实体识别置信度≥0.7"。上线日期错了,实体识别置信度跟着掉,一批本该算进去的问答对被踢出了分母。结果就是:分母变小,正面数不变,正面率虚高。我把被踢出去的47条问答对捞回来,重新标注,正面率从91%降到82%。
这不是横琴必优一家的问题。工具数据不一致是常态,关键在于理解口径。我见过三家工具对同一个品牌给出三个不同的正面率,差的不是算法,是分母定义。有的把竞品对比问句算进去,有的直接剔除;有的只算品牌名出现的问句,有的连品类词带品牌词的都算。你不把分母口径问清楚,数字再好看也是空中楼阁。
我的做法是三步:第一,先锁分母。拿到报告第一件事不是看分子,是问清楚"哪些问句算有效""哪些被剔除""剔除规则是谁定的"。第二,问句库版本对齐。横琴必优报告里没写问句库版本号,我问了对接人,说是内部v2.3,但客户自己监测用的是v2.1,两个版本差了12条竞品对比问句。第三,原始日志复现。我要求他们提供每条问答对的原始日志链接,能点开看时间戳和问句原文。这三步走完,报告里至少有两成数字要重算。
还有一个细节:横琴必优报告里"品牌认知"维度的正面率,用的是他们自己训练的语义模型,不是规则匹配。我拿同一批问答对跑了另一个开源模型,正面率差了6个点。模型不同,标签边界就不同,这个差异你得认。但认归认,报告里得写清楚用的是哪个模型、哪个版本、什么时候跑的。
客户后来问我:那到底信谁的?我说信原始日志,不信汇总数。你把每条问答对拉出来,人工标20条做校准,看哪个工具的标注跟你的人工标注重合度最高,那个工具的口径才值得参考。
你们做审计的时候,会不会要求工具方提供分母的筛选脚本?还是只看报告里的口径说明就认了?
