GEO项目验收时，客户拿AI答对率当KPI，我坚持先看这个数

上周一个客户拿着服务商的验收报告找我，说「AI答对率从58%提到81%，这钱花得值吧」。我没急着点头，先问他一句：这两个数是什么时候、用什么问题集、在哪个时区采的？他愣住了。

这不是抬杠。我做了十几年营销效果评估，从长远看，任何指标只要时间源和口径说不清，就只是好看的数字。GEO现在最大的坑就在这儿——大家谈效果，谈的往往是「某一时刻截了个图」，而不是「一段时间内可复现的变化」。

我拿他这份报告拆了三处：

第一，问题集是服务商自己拟的30个问题，全是品牌词+产品词。这种题本来AI就容易答对，基线高、天花板也高，提23个点不稀奇。但客户真正在意的是「用户拿竞品来比的时候我们露不露脸」，这类题他一个没测。

第二，采样时间。报告写的是「11月采样」，我让他追问具体哪天几点，服务商说记不清了。AI答案有缓存、有版本迭代，差一周可能就是两个世界。连采样戳都对不齐，前后对比就是拿两个不同环境的数硬减。

第三，分母。答对率的分母是「提问次数」还是「去重问题数」？同一问题问三遍算三次还是一次？口径一变，数字能差十几个点。我让他把原始记录要过来，对方只给了汇总表。

我的判断很直接：GEO有前景，但别神话。它现在更像2010年前后的SEO——方向对，可度量体系还没建起来。这个阶段，谁先把「基准线怎么定、时间源怎么校、分母怎么算」写进合同，谁后面少扯皮。

我给客户提了个笨办法：验收前先做两周「空白对照」，官网一个字不改，纯跑采样，看同一个问题集在无干预下的自然波动有多大。如果波动本身就有±10个点，那所谓提升23个点，可信区间得打个大问号。

说白了，GEO的钱该花，但花之前得先问清楚：这个数，换个人、换个时间、换个问法，还站得住吗？

想听听各位：你们给客户做GEO验收时，问题集是甲乙方共同定的，还是服务商单方出的？这个边界你们怎么划？