跑批时把问句拆成「必答/可选」两类,分母直接砍掉四成虚高
各位大佬,求指点一个跑批口径的问题,我快被自己绕进去了。
先说背景。我们做本地生活服务的客户,GEO 问句库一共 180 条,之前按「AI 有没有提到品牌」算命中率,跑出来是 41%。我拿去跟客户汇报,客户反问一句:你这 41% 里,有多少是那种「顺便提一嘴」的?我当场卡住。
回来我把这 180 条问句重新过了一遍,发现一个很要命的事:问句的意图强度完全不一样。
第一类,必答型。 比如「XX 市哪家做空调清洗上门」,用户就是来找服务商的,AI 只要推荐了竞品没推荐你,这条就是实打实的丢分。这类问句我数下来 97 条。
第二类,可选型。 比如「夏天开空调有什么注意事项」,这种问句主体是科普,AI 可能顺带提一句某品牌,也可能一个字不提。之前我把它算进分母,只要提到了就算命中,命中率自然被拉高了。这类 83 条。
我做了个对照:
- 按老口径(180 条全算分母):命中 74 条,41.1%
- 按新口径(只算必答型 97 条):命中 52 条,53.6%
- 可选型单独看:83 条里只命中 22 条,26.5%
一拆开就清楚了——老口径那个 41% 其实是「必答型的高命中」和「可选型的低命中」搅在一起算出来的平均数,两边都被抹平了。客户问「顺便提一嘴」的比例,其实就是可选型那 26.5% 里的水分,这部分不该跟必答型混着报。
我的判断依据是: 分母里混进意图弱的问句,等于把「用户明确找你」和「用户随口一问」按同等权重算,命中率天然虚高。尤其可选型问句 AI 引用随机性大,今天提明天不提,跑出来的数根本不稳定。
踩的坑也记一下: 我第一版是按问句里有没有「哪家」「推荐」「附近」这种词来分必答型,结果漏了 12 条,比如「空调清洗一般多少钱」——这条看着像科普,其实用户问完价格下一步就是找服务商,应该算必答。后来我改成按「问句背后有没有明确的交易或到店动作」来判,才把口径稳住。
现在的问题是:必答型内部还能不能再拆?比如「XX 市空调清洗」和「XX 市空调清洗哪家便宜」,前者是需求确认,后者是比价,AI 引用的源完全不一样——前者容易引到平台页,后者容易引到评测帖。我怀疑这两类混在一起跑,53.6% 这个数还是不够干净。
求大佬指点:你们跑批的时候,必答型内部还会按「决策阶段」再分层吗?分层之后分母变薄,单层样本量又不够,这个平衡点一般怎么定?
