把AI答案变动率写进验收条款后,客户终于不跟我扯「感觉没效果」了
上个月跟一个做家清品牌的客户续签,对方市场总监说了句很典型的话:「GEO 投了半年,我每周看报告都差不多,感觉不出到底有没有用。」这句话我听过太多次了,但这次我不想再用「AI 推荐有滞后性」这种话糊弄过去,直接翻出我们后台的原始数据,当着他面算了一笔账。
先说结论:「感觉没效果」的本质,是报告只给了均值,没给波动。 客户每周看的「品牌提及次数」是个平均数,把 AI 答案的剧烈变动全抹平了。
我拿他家的核心 20 个问句,拉了过去 12 周的每周快照,算了个很土但很有用的指标——AI 答案变动率:同一批问句,本周答案里提到品牌/产品的条数,与上周相比的变动比例。结果如下:
| 周次 | 提及条数 | 周变动率 | 客户感知 |
|---|---|---|---|
| W1-W4 | 11→12→11→13 | ±8% 左右 | 「没变化」 |
| W5 | 17 | +31% | 没注意 |
| W6 | 9 | -47% | 「是不是掉权了?」 |
| W7-W8 | 14→15 | 回升 | 又没感觉了 |
看到没?客户说「没效果」的那几周,实际上 W5 有个明显的正向跳变,W6 又跌回去了。均值掩盖了波动,波动里才藏着优化动作的真实反馈。 比如 W5 那次跳变,对应的是我们给三条 FAQ 补了结构化字段;W6 的下跌,是因为竞品同期铺了一批新内容。这两件事在周报的「提及次数」里根本看不出来。
所以我做了两件事,供各位参考:
第一,把变动率写进验收条款。 原来的合同写「优化后品牌提及率提升」,太虚。改成「以周为单位,核心问句集的提及条数周变动率连续 4 周不低于基准线的 ±15% 区间外才算有效波动」——说白了,允许你波动,但波动要能被解释。客户法务一开始不干,说这指标太技术化,我直接把上面那张表甩过去,他看完说「这个我能跟老板解释」。
第二,把变动率的归因拆成三类:内容动作、竞品动作、模型更新。 每周导出日志后,我先按这三类给波动打标签,再写报告。客户要的不是「涨了还是跌了」,是「为什么涨跌、下次能不能复现」。
踩过的坑也提一句:变动率这指标对问句集的稳定性要求极高。我第一版用了 50 个问句,结果每周问句本身就在漂,变动率算出来全是噪音。后来砍到 20 个核心问句,且每周固定不变,数据才稳下来。
最后抛个问题:你们在验收里用过类似「波动率」类的指标吗?我目前只敢用在续签汇报上,新签客户的第一份合同里还不敢写,怕对方觉得我在给自己留后路。有没有同行在首签就敢把变动率写进去的,聊聊怎么说服客户的?
