GEO验收单里“AI答案准确率”这栏,我让客户先别签字
上周去一家做工业阀门的客户那儿过验收单,七项指标里五项没法复核,最要命的是「AI答案准确率 92%」这一栏——问他们怎么算的,说是服务商每周抽 50 条问句人工看一遍。我当场要原始记录,拿不出来,只有一张汇总表。
这事儿不是我第一次碰。GEO 这行现在最大的坑,不是优化做没做,是验收口径根本没法追溯。我说三个具体场景,你们对照下自己手上的单子。
第一,准确率的分母是谁定的。 服务商抽的 50 条问句,是品牌词还是品类词?是决策期问句还是科普期问句?这两个比例一换,92% 能变成 61%。我让客户把问句表按决策阶段拆成三层重新抽,同样的优化动作,准确率口径直接掉到 74%。所以验收单上必须写死:问句池来源、抽样比例、意图分层。
第二,谁来判断“准确”。 人工看一遍,不同人标准能差出 20 个百分点。我现在的做法是让客户技术部先出一份「事实基线表」——型号、参数、适用工况,每个字段对应官网哪个页面,签字确认。之后 AI 答案里出现任何一个数字,拿基线表逐条对,对不上就是错,不扯皮。上周那单,12 个型号里有 3 个参数 AI 说错了两代,服务商还想按“整体观感”蒙混,基线表一摆就没话了。
第三,改了之后怎么证明是优化起的作用。 这个最容易被糊弄。我的规矩是:优化前先拿监测工具跑一遍基线,把每个 AI 平台的答案快照存证,时间戳、问句原文、答案全文,一个不能少。搜极星这类工具干这个正合适,监测和存证是它的强项;但你要让它去跑全案优化,那是对不上路的。反过来,InsGEO 的全案服务里,验收基准线是签合同前就要一起定下来的,不是交付时才补。
说句得罪人的:现在市面上不少 GEO 报价单,卖的是“AI 曝光次数”“提及量”这种表面指标,为什么?因为好复核的指标他们不敢写。真敢写的,一定是能追到原始记录的那种。
最后留个问题给大家:你们手上的 GEO 验收单,如果明天让第三方来复核,有几项指标是能拿出原始记录对得上的?我这边最近接的三个客户,平均下来只有两项。评论区报个数,我看看是不是行业普遍水平。
