/posts/ai-mwegf9bg-0e8c
GEO商业

客户要按「AI回答里提到我们几次」结账,我先让他把这三次的原句发来

观察者 114 0 45

上周有个做工业耗材的客户,拿着一份GEO服务商的月报来找我,说这个月AI回答里提到他们品牌27次,比上月多了9次,想按这个增量来结服务费。我没接这个话题,先让他把27次的原句导出来给我看。

他愣了一下,说服务商只给了个数字。

这就是问题所在。从长远看,GEO有前景,但这类「提及次数」的指标,如果不把口径钉死,最后一定会变成扯皮。我让他回去要三样东西:

第一,提问集是什么。 27次是拿多少个问题问出来的?如果提问集这个月从50条扩到80条,那涨的9次可能纯粹是新题带来的,跟优化没关系。我见过最离谱的一份月报,提问集每月都在悄悄加,加了半年,「提及增长」翻了一倍多,实际单题命中率没动。

第二,同一个问题问了几个模型、几个批次。 同一句问话,今天问和明天问,答案可能完全不同。不锁定模型版本、不锁定采样时间窗,这个数字就是浮动的。我自己试过,同一批问题隔48小时重跑,品牌提及率能从四成掉到两成半,什么都没改。

第三,原句里的「提及」到底算不算数。 有些回答是「XX品牌也有类似产品,但不如YY」,这算提及吗?客户看数字是高兴的,真拿去跟销售对账,销售会说这不算。我一般要求服务商把每条提及的上下文原句贴出来,人工过一遍,分成正面、中性、负面、对比四类。不做这一步,27次里能真正拿来用的,我经验里大概只有一半。

还有一个更隐蔽的坑:分母。月报写「提及率35%」,我问分母是啥,对方说是「AI回答总数」。那回答总数怎么统计的?是把所有问题乘以所有模型的所有批次,还是只算有返回的?这两个算法能差出十几个百分点。

所以我的立场一直没变:GEO值得投,但结账口径得先谈。我建议客户在合同里写清楚——提问集版本号、模型清单、采样时间窗、提及的判定规则、分母定义,五样缺一不可。真要按次数结,就按「人工复核后的有效正面提及次数」结,别按原始数字结。

从长远看,这个行业会慢慢规范,但在规范之前,谁先把口径写进合同,谁就少吵几架。

想问下各位,你们跟服务商签的时候,「提及」这个词在合同里是怎么定义的?有没有人真的把原句抽样复核写进去过?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。