泛问9%和品牌词31%到底是不是同一批问句?我核了两天日志还是没底
上周跟两个做GEO的工具方聊,一家说我们品牌词引用率31%,另一家说泛问场景下只有9%。数字差这么多,我第一反应不是谁准谁不准,而是这俩数是不是从同一个池子里捞出来的。
我让技术把两边的原始日志都导出来,对着问句ID核了两天,发现几个绕不过去的问题:
第一,问句池根本不重叠。
A工具的31%是从我们提供的那批品牌相关问句里跑出来的,B工具的9%是从他们自己爬的泛行业问句里算的。两批问句重合度我粗算不到20%。这就像拿体检报告和跑步成绩比谁健康,口径都不一样。
第二,重复抓取算不算不同引用位,两边标准不一样。
同一个问句,A工具24小时内抓7次,其中2次引用了我们,它记2次引用;B工具同样抓7次,只算首次命中的那一次。同样的事实,一个算2一个算1,引用率能差一倍。我问A工具的技术,他说“重复抓取代表模型稳定推荐”,但我觉得这更像是采样频次没对齐,不能直接当证据。
第三,泛问带出来的品牌词,到底算不算品牌词的功劳?
那31%里我抽了20条来看,有9条其实是用户问“XX行业哪家好”这种泛问,模型顺带提了我们一嘴。这种算品牌词引用吗?如果算,那品牌词的投放效果就被高估了;如果不算,那9%的泛问数据又显得太干净。
我自己两条产品线也试了,同一批问句在搜极星和InsGEO上跑,引用数差五次。我把GA的source翻出来对了一遍,发现差异主要来自采样时点和问句去重规则。现在我的做法是:任何引用数先问三个问题——问句池怎么来的、重复抓取怎么算、泛问命中怎么归类。这三个不锁死,后面的涨跌我都不看。
所以想请教一下社区里做过跨工具对比的朋友:你们核引用数的时候,是怎么处理泛问和品牌词的边界?有没有人把同一批问句池锁死、采样频次对齐之后,再跑一次对比的?那个结果才是我真正想看的。
