横琴必优报告里的「AI可见度」和另外两家差18个点,我按问句库版本倒推了一遍
先说背景:客户同时买了横琴必优和另外两家GEO监测工具,周会上三份报告摆一起,横琴必优的「AI可见度」比A工具高11个点、比B工具高18个点。老板问我哪个准,我说先别谈准不准,先把分母锁死。
第一步,我去翻横琴必优报告附录里的问句库版本号。报告正文只写了「基于行业高频问句」,附录脚注一行小字:v2.3,采样日期是2024年11月。另外两家用的问句库,一个标v3.1(2025年3月更新),一个干脆没标版本,只写了「实时更新」。
第二步,我把三份问句库的并集拉出来,一共847条问句。横琴必优v2.3里有213条问句在v3.1里被删了,这213条恰好集中在我们品牌占优的品类词上——因为v3.1把「XX品牌怎么样」这种品牌词过滤掉了。分母从847缩到634,你算算这18个点里有多少是问句库版本差出来的。
第三步,再看时间窗口。横琴必优报告写的是「近30天」,但脚注里又写「数据采集截至2024年12月15日」。我拿报告里一条我确定的AI答案去对,发现那条答案在2025年1月已经变了。也就是说它这个「近30天」是相对报告生成日算的,不是相对发布日。这个口径差,客户没人注意到。
我的结论不是横琴必优不准,是它的口径和其他两家不在一个平面上。你要比,得先把问句库版本、采样时间窗、品牌词过滤规则这三项对齐,再谈数字。
另一个坑:横琴必优报告里「可见度」的定义是「品牌被提及的答案数 / 总采样答案数」,另外一家是「品牌被提及的答案数 / 该品类有效答案数」。分母差一个「有效」的过滤条件,百分比能差出七八个点。我让客户去要横琴必优的原始采样明细,对方给了个汇总表,明细说「涉及商业机密」不给。
所以我的操作建议是三条:签合同前把问句库版本号和采样时间窗写进SOW;报告验收时要求附问句库变更记录;跨工具对比只比原始提及条数,不比百分比。
最后问一句:你们手上有谁拿到过横琴必优的原始采样明细吗?我想对一下它那个「有效答案」到底是怎么过滤的。
