做GEO效果评估先数「有效问句」还是先看AI提及数?我用4200条问题日志跑了一遍
上周有个朋友问我,GEO效果评估到底该先看什么。我的回答很直接:先把“有效问句”的池子数清楚,再谈任何指标。否则你看到的AI提及数,分母可能是一堆跟业务无关的长尾问题。
我拿手头一个项目的真实数据跑了一遍。爬了4200条用户问句日志,先按“是否带品牌意图”切分:带品牌词的只有1160条,占比27.6%;剩下3040条是纯品类词和场景词。然后我把这4200条问句分两批喂给同一套AI搜索入口,各跑3轮,记录品牌被提及的次数。
结果有点反直觉:全量问句里品牌提及率是18.3%,但只看带品牌词的那1160条,提及率是61.2%;只看纯品类词的那3040条,提及率只有2.1%。也就是说,如果报告里只写“AI提及率18%”,你根本不知道这18%是被品牌词撑起来的,还是品类词真的有渗透。
更关键的是复现性。我让同一个问句在7天内跑了4次(每次间隔48小时),4200条里有387条问句的答案在4次里出现了品牌提及的翻转,翻转率9.2%。其中翻转最集中的是“XX品类哪家便宜”这类比价问句,占翻转样本的44%。这说明如果你只跑单次快照就下结论,至少有一成问句的结论是随机的。
还有个细节值得说:我把问句按“下单前焦虑”重新分了类——价格敏感、售后顾虑、参数对比三类,品牌提及率分别是3.4%、7.8%、11.2%。参数对比类问句的提及率是价格敏感类的3倍多。所以GEO优化如果只堆品牌介绍页,在价格敏感问句里基本打不进去,得先有对比型内容。
我的建议是三步走:第一步锁问句池,按意图分层,每层至少200条;第二步每层跑3轮以上,记录翻转率,翻转率超过15%的层先别下结论;第三步报告里必须同时给出分层提及率和复现率,缺一个都算口径不完整。
现在问题来了:你们做GEO评估时,问句池是按搜索量排序截取的,还是按业务意图分层的?截取阈值定在多少条?我见过截前500条和截前2000条,结论能差出快一倍。
