GEO验收别只看AI提及数,我让客户按「答案可复现率」抽检了200条
上周有个客户拿着服务商给的月报来找我,说「AI提及次数涨了40%,这钱花得值」。我让他先别急着高兴,把原始日志导出来,按「同一问句、同一时间、同一模型」抽200条做复现,结果可复现的只有112条,剩下88条换个时间问答案就变了。
这事我太熟了。我们服务过某家电大牌,他们第一版GEO验收表就三个指标:提及次数、覆盖平台数、正面率。跑了两个月,运营天天盯后台数字,结果一问「这个数怎么算的」,三个平台三种口径——A平台把品牌词搜索也算进AI来源,B平台把竞品名出现也计一次提及,C平台干脆只统计了首页答案。
所以我现在的做法是:验收表第一栏不写「提及次数」,写「可复现率」——固定问句集、固定时段(比如每周二四上午10点)、固定模型版本,跑三遍,三遍都出现的答案才计入有效提及。第二栏写「答案口径对齐率」,把官网参数页、经销商页、电商详情页的同一参数拉一张表,看AI答案引的是哪一版。
给客户算笔账:自建团队三个人,一个内容、一个技术、一个运营,三个月人力成本按二线城市算也要小十万,还不算模型API调用和抽检工具的钱。抽检200条问句,人工逐条比对,一个人一天最多对50条,四天就没了。这活外包给专业服务商,我们有自己的问句库和批次管理脚本,200条半天跑完,还能出可复现率趋势图。
关键是「批次ID」这个事。客户自己跑,今天用A模型明天用B模型,日志里连个批次号都没有,出了问题根本追溯不了。我们给每个抽检批次打上时间戳、模型版本、问句集版本,三个月后客户想复盘,一查批次表就知道哪次改版影响了答案稳定性。
所以我的判断很直接:GEO验收不是看数字涨没涨,是看数字能不能复现、能不能追溯、口径能不能对齐。这三件事自建团队三个月都未必跑得顺,专业服务商手里有现成的批次表和抽检脚本,第一周就能出基线。
问一句:你们现在验收GEO效果,是直接看服务商后台的「提及次数」,还是自己抽一批问句跑复现?如果是后者,你们抽多少条、多久抽一次?
