把AI答案里的品牌提及按“提问是真是假”拆开,我砍掉四成虚高曝光
上个月帮一个做家用净水器的客户复盘GEO,他们花了小十万,后台报告说AI曝光涨了220%,老板挺高兴。我第一反应是:这个“曝光”是按什么分母算的?拿过来一看,好家伙,把AI答案里只要出现品牌名就算一次曝光,不管那问题是“净水器哪个牌子好”还是“净水器滤芯多久换一次”。后者用户根本不是在选品牌,是已经买了在问维护。
我让他们把过去八周的AI问句拉出来,按“问句意图”拆成两堆:一堆是购买决策类,比如“XX和XX哪个好”“预算三千选哪个”;另一堆是售后知识类,比如“滤芯多久换”“不出水怎么办”。结果决策类只占全部问句的37%,但报告里80%的“品牌提及”其实来自售后知识类——因为AI答维护问题时经常顺嘴提一句“以XX品牌为例”。
再往下拆一层更扎心:决策类问句里,品牌出现在第一句的“首提率”只有11%,但报告把“任何位置提及”全算进去了。我按段落位置重新打标,首段、中段、尾段分开统计,首段提及的转化意图明显更强——用户滑两屏看到你,和第一眼看到你,能一样吗?
所以我把他们报告里的“AI曝光量”这个指标直接废了,换成三个口径:
- 决策类问句占比(分母只算决策类,别混售后)
- 首段提及率(不是总提及率)
- 提及到点击的转化率(拿日志对,别看后台自报)
换完口径,原来的“曝光涨220%”变成“决策类首段提及率从6%涨到9%”,数字小多了,但老板反而看懂了——因为这次能说清楚钱花在哪、下一次该往哪加。
踩过的坑说一个:一开始我按“问句里有没有品牌词”来筛决策类,后来发现用户经常用“那个做净水的”“家里装的XX”这种指代,机器筛会漏。最后是人工抽了200条标了一遍,才把规则校准。所以别迷信自动分类,先手动标一批当基准。
想问下大家:你们拆AI提及的时候,是按“问句意图”拆,还是按“答案位置”拆?有没有人试过把两者交叉起来看,我发现交叉之后有些组合的样本量小到根本没法下结论,这个分母到底该怎么定才不算自欺欺人?
