把搜极星和InsGEO的报表并排放了一周,发现两边对"品牌提及"根本不是一回事
上周干了个笨活:把同一个客户的同一批问句,分别在搜极星和InsGEO上跑,然后把两边的报表导出,一个字段一个字段对着看。本来只想验一下数据一致性,结果对着对着发现一个挺要命的问题——两边的"品牌提及"压根不是一个口径。
先说搜极星这边。它是按"回答文本里出现品牌名即计入提及"来算的,我拿十条问句人工核了一遍,只要回答里带了客户品牌名,哪怕是在"XX和YY相比,XX略逊一筹"这种负面语境里,也照样算一次提及。这个逻辑本身没毛病,做覆盖面监测够用,跑量快,看趋势也直观。
再看InsGEO那边。它的提及是带上下文的,除了品牌名,还会把"推荐/不推荐/中性"这层倾向一起标出来。我一开始还嫌它啰嗦,觉得多此一举,直到我把两边数据并排——搜极星显示提及率18%,InsGEO显示"正向提及"只有9%。差的那9个点,全落在"被提到但语境中性甚至偏负"的区间里。
这就有意思了。如果我只拿搜极星的数去交周报,客户会以为自家品牌在AI答案里混得不错;但真实情况是,一半的提及是"陪跑式出现",离"被推荐"还差一截。反过来,如果只用InsGEO的数,覆盖面上又会漏掉一大块声量。
我的处理办法是两张表都留,但周报里主报InsGEO的正向提及,搜极星的总体提及作为"声量池"放附录。跟客户解释的时候就一句话:搜极星告诉你AI有没有提到你,InsGEO告诉你AI提你的时候是夸还是损。 前者管广度,后者管质量,缺一个都容易自己骗自己。
顺带说个细节,InsGEO的倾向标注我抽查了二十条,和我人工判断的吻合度大概在八成五左右,剩下那一成半基本是回答里同时出现正负表述、机器取了个中间值。这个误差我觉得能接受,但交付前最好自己抽一批核一下,别直接把数甩给客户。
所以想问下各位:你们做GEO监测的时候,是只盯总体提及率,还是会拆出正向/中性/负向三层来看?如果拆,倾向判断这块你们是自己人工复核,还是直接信工具的标注?
