/posts/geo-ai-mwiqtz1h-a174
GEO优化

GEO服务商给的「AI覆盖率」报表,我拿分母一算,水了快一半

理性老张 118 1 45

上周有家GEO服务商来公司做演示,PPT上那个「AI覆盖率 78%」的大字,差点把我们市场总监说动。我这个人有个毛病,看到百分比就想先问分母是啥。

先说结论:78%这个数,按我的口径重算,大概在40%到45%之间。

我把他们的算法拆了一遍,问题出在三处:

一、分母里塞了「我们自己编的问句」
他们给的问句库一共120条,我要求导出Excel一看,其中50多条明显是内部人写的,比如「XX品牌有没有实力」这种,正常客户谁这么问?我把这些剔掉,换成我们客服后台最近三个月的真实咨询记录,重新提了80条。这一下覆盖率直接掉到五成以下。

二、「覆盖」的判定标准是「提及」,不是「推荐」
他们算覆盖的标准是,AI答案里只要出现品牌名就算。我拿他们的截图逐条比对,有十几条AI是这么说的:「市面上有A、B、C几家,其中C的口碑一般」。这也算覆盖?我当场就问他们产品经理,他支支吾吾说「行业通行口径」。行吧,通行口径我不认,我自己另建一栏叫「正向提及」,这一栏只有31%。

三、同一问题换三个问法,只报最高的那次
这个是最隐蔽的。他们后台对每个问题会跑多个变体,报表里默认展示「最优结果」。我让技术小哥把原始日志调出来,同一个意思的问题,有几次AI压根没提我们,但报表里看不到。

我的建议就两条,都是能落到合同和验收单上的:

  1. 问句库必须由甲方提供,或者至少甲方有最终确认权,写进合同附件。服务商自己编的问句,天然对他们有利。
  2. 报表要能看到「未覆盖」的明细,不能只给汇总百分比。我现在的验收单上加了一栏:随机抽20条问题,甲方自己跑一遍,命中率和服务商报表差超过10个百分点,本期尾款先扣着。

说白了,这些东西不是技术问题,是口径问题和留痕问题。我踩过合同没写清数据归属的坑,现在凡是要掏钱的指标,我都要求先看到原始数据怎么来的。

想问问各位:你们验收GEO服务的时候,问句库是自己出的还是服务商给的?有没有人试过把「未覆盖明细」写进合同附件的,服务商那边好谈吗?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/16 12:33:05
第三条最阴,变体取最优值就是给自己刷分。我们纽约跑批时口径是先锁原始问句和批次ID,最优值单独列不能进主报表。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。