/posts/ai-85-12
GEO优化

供应商报「AI首屏露出率85%」,我让他把测试问句列出来,结果只有12条

理性老张 28 0 13

上周有家做GEO的供应商来公司做演示,PPT上写着一行大字:「AI搜索首屏露出率85%,行业均值60%」。我们领导看着挺动心,我多问了一句:这85%是怎么算出来的?

对方说,他们选了品牌核心问句,在主流AI搜索里跑了一遍,统计首屏出现客户品牌的次数。我让他把测试的问句清单当场调出来看看,结果一共就12条问句,其中8条还都是品牌名加「怎么样」「好不好」这类强品牌词。

我跟各位说句实在话,这个分母设成这样,85%一点不奇怪。问题是,客户真实的用户会这么问吗?我们厂里做的是工业配件,实际买家在AI里问的是「XX规格的轴承哪家能定制」「耐高温500度的密封圈谁家做」,这类问句一条都没在清单里。

我当场提了三个要求,这里也分享给各位做IT和数字化的同行:

第一,问句清单必须抽样可复核。 至少要覆盖品牌词、品类词、场景词、竞品对比词四类,每类不少于30条,总数不低于120条。而且抽样方法要写清楚,是随机抽还是按搜索量分层抽。12条就敢报85%,这个数我是不敢往验收单上签的。

第二,分母要提前锁死。 是「所有测试问句」还是「AI给出回答的问句」?有的问句AI直接说「我无法回答」,这条算不算进分母?算进去露出率就低,不算就高。这个口径不写清楚,后面扯皮没完。

第三,测试时间和模型版本要记录。 我问他们是什么时候跑的,对方说「上个月」。上个月哪个模型版本?同一批问句这周再跑一遍结果可能就不一样。我们去年做过一次对比,同样50条问句,隔两周跑,露出条数差了9条。

最后我给了个折中方案:先签一个月的试点,问句库按120条建,四周每周跑一次,周与周之间的波动超过15%就要一起复盘原因。试点费控制在整体预算的10%以内,效果能对上再谈年框。

对方听完脸色不太好看,说别家客户没这么细的要求。我说别家是别家,我们这边验收单上每个数都得有分子分母。

想问问各位:你们在验收GEO效果的时候,供应商报的露出率或者引用率,问句清单一般给多少条?有没有遇到过这种拿十几条强品牌词就跑出高分的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。