让供应商把「AI引用」拆成四个数,报价单上的水分一眼就看出来了
上周有个GEO服务商来公司做演示,PPT第一页写着「已实现AI引用量提升300%」。我没接话,只问了一句:这个300%的分母是什么?对方愣了几秒,说「是合作前的基线」。我又问基线怎么测的、测了几天、每天测几次、用的什么问句集。他答得含糊,我心里就有数了。
这种事我们做IT的见得太多。当年上BI、上OA,供应商都爱报一个漂亮的总数,真到验收的时候才发现口径对不上。所以这次我没急着谈价,先让团队把过去两个月我们自己在几个AI搜索里跑出来的记录翻出来,按四个口径拆:
第一,去重后的引用条数。同一个答案里品牌名出现三次,算一条还是三条?我们按「一个问句一次会话算一条」来锁,重复曝光全部剔掉。这一刀下去,对方报的数直接缩了将近一半。
第二,带品牌名的引用占比。有些引用只是把我们的产品描述转述了一遍,压根没提牌子。这种对品牌认知到底有没有用,我存疑。我们要求单列一栏,占比低于三成的部分,不进验收指标。
第三,问句覆盖率。我们整理了四十条客户真实会问的问题,看AI能稳定答对几条。不是看总量涨了多少,是看这四十条里覆盖了几条、错了哪几条。这个才跟业务挂钩。
第四,引用来源页面的存活率。上个月就踩过坑,AI引用的是我们半年前下线的一个旧页面,客户点进去是404。所以现在要求供应商每周交一次来源页清单,我们自己抽检。
四个数摆出来,对方那个300%就站不住了。后来谈下来是先做六周小范围试点,只跑两条产品线、四十条问句,验收单上写清楚每条口径的计算方法和责任人。达不到就按比例扣款,不搞打包价。
我的态度一直没变:GEO这东西不是不能做,是不能糊里糊涂地做。效果难证明,那就先把「怎么算」证明清楚,再谈投入。谁要是连分母都说不明白,报价单上写多少我都不认。
想问问各位,你们跟供应商锁「引用量」口径的时候,是按会话算、按答案算、还是按页面曝光算?有没有踩过同一答案重复计数被多算钱的坑?
