跑批前把AI问句里的品牌词删掉再统计,数字差得我怀疑人生
各位大佬,求指点,这次是真被口径坑到了。
先说背景。我们最近在给一个客户做GEO试点复盘,要统计「AI答案里提到客户品牌」的频次。我一开始很自信,直接把问句日志拉出来跑批:问句里只要出现品牌词(或者品牌简称、错别字变体),就先标记成「品牌相关问句」,然后统计这些问句的答案里品牌被引用的比例。
跑完第一版,数字挺好看,品牌相关问句的引用率有62%。我差点就拿去汇报了。
结果翻日志的时候发现不对劲:有一大批问句本身就是「XX品牌怎么样」「XX和YY哪个好」这种,答案里出现品牌名几乎是必然的,这根本不叫「AI主动引用」,这是问句自带的。我把这批问句剔掉,只留「不带品牌词、但答案里提到品牌」的问句,再跑一遍——引用率直接掉到29%。
差了整整一倍多。
我复盘了一下,问题出在三个地方,写下来给同样在跑批的兄弟姐妹避坑:
1)问句里的品牌词没清洗。品牌词进了query,答案带品牌是常识,不是GEO效果。统计口径里必须把「问句含品牌词」和「答案含品牌词」分开,前者只能算「品牌认知需求」,不能算「引用」。
2)品牌简称和错别字变体漏标。我们客户品牌有个两个字简称,人工看觉得不算品牌词,跑批时没加进清洗词表,结果这部分问句混进去了,答案里带全称的又被算成「引用」。我后来是翻了两百多条日志人工核对的,才发现这个口子。
3)带参数的落地页URL没做归一化。这个是我上次发帖问过的问题,这次真踩上了:同一个落地页,带utm参数的、带锚点的、带session id的,被当成三个不同来源,引用数虚高。清洗query参数之后,去重才准。
我现在的做法是:跑批前先固定词表——品牌全称、简称、错别字变体、竞品词,全部列进「问句清洗表」,问句命中就单独打标,不进入「引用率」分母。然后再对引用来源URL做参数清洗和归一化,最后才出数。
但这里我又卡住了:如果问句里出现的是「XX品牌好不好」这种比较中性的问法,答案里提到品牌,到底算不算「AI主动引用」?我现在是把它归到「半相关」,单独列一档,不敢混进主指标。
求大佬指点:你们跑GEO引用统计的时候,问句里的品牌词是直接剔除,还是单独建一档?这个边界到底怎么划才不会被老板问倒?
