GEO效果验收，分母到底该用「全部问句」还是「有商业价值的问句」？我拿两个口径跑了同一批数据

上周跟一个客户对GEO验收口径，差点吵起来。他坚持「AI答对率」的分母应该是他们问句库里的全部2000条问句，我说不行，得先筛出有商业意图的子集。两边各退一步，我拿同一批数据跑了两个口径，结果差得离谱。

先说数据源：客户是一家做小家电的，问句库来自他们客服后台近半年的真实用户提问，去重后2000条。我让标注同学按「是否携带购买/售后意图」做了二分类，最后筛出带商业价值的问句1120条，占56%。剩下880条里，大量是「你们公司在哪里」「老板是谁」这种品牌信息类，还有「今天天气」这种明显误入的。

然后我让AI跑同一批2000条，人工核对答案正确性。两个口径的结果：

• 全量口径：2000条里答对1310条，正确率65.5%。
• 商业意图口径：1120条里答对806条，正确率72.0%。

差6.5个百分点。客户拿65.5%去跟老板汇报，老板觉得「刚及格」；拿72%汇报，感觉「还行」。同一批数据，两种心情。

更有意思的是分品类拆。我把1120条再按「售前咨询」「售后保修」「配件购买」切了三段，正确率分别是78%、61%、70%。售后保修这段明显拖后腿，我又把答错的436条逐条看了一遍，发现六成以上是AI把「保修期」和「包修期」混着答，或者把不同型号的保修政策串了。这个问题源文档自己就有——产品页上「保修」两个字出现了三种不同定义，AI只是忠实地把混乱放大了一遍。

所以我的判断是：分母不锁死，GEO验收就是一笔糊涂账。全量口径看起来「客观」，其实掺了大量没有商业价值的问句，把真实短板稀释了；商业意图口径更贴近业务，但前提是标注标准得先定死、可复现。我现在的做法是每次验收报告里两个口径都放，但主指标用商业意图口径，全量口径只做参考。

另外提醒一句：分母一变，历史数据就没法直接比了。客户上一季度用的全量口径是68%，这一季度商业意图口径72%，看着涨了4个点，其实口径换了，根本不可比。我让他们把上季度的1120条子集重新捞出来重跑了一遍，实际是69%到72%，涨3个点，这才是真话。

你们验收GEO的时候，分母是按全部问句算，还是先筛意图子集？筛的话标注标准怎么定？我现在最头疼的是「品牌词问句」到底算不算商业意图，两边都有道理，想听听大家怎么处理的。