GEO优化
跑批时把「券叠加规则」漏喂给AI,结果测试集里满减全算错了
32 0 16
求大佬指点,昨天跑批差点翻车。
事情是这样的:我们有个活动页,上面写了「满300减50」和「新人券再减20」。我心想这规则挺简单,直接拿页面上的文案喂给AI跑测试集,看它能不能答对「买350能减多少」。
结果跑出来30条问句,有17条答错,AI要么只算满减、要么只算券,还有几条把两个规则加一起减了70,但实际规则是「满减和券可叠加,但券后金额不参与满减」。我当时就懵了,这不对啊,页面上明明写了。
后来我翻活动页源码和后台配置才发现,真正的叠加规则藏在活动说明的折叠区里,文案写的是「优惠可同享,具体以结算页为准」,但结算页的规则是运营在后台单独配的,根本没在页面上明文展示。我喂给AI的只是「表面文案」,没喂「后台口径」。
我又把后台导出的规则表(含券ID、叠加优先级、互斥组)转成结构化文本重新跑了一遍,这次30条里只错了3条,错的都是问法太绕的,比如「我有一张新人券再买350是不是减70」——AI把「再买」理解成二次购买,没算叠加。
复盘下来三个坑:
- 跑批口径不能只看页面文案,得追到后台配置表,尤其是折叠区、结算页这种用户看不到但实际生效的规则。
- 测试集问句要覆盖「叠加」「互斥」「优先级」三种问法,不能只测单规则。
- 跑批日志里得记录「喂进去的规则版本号」,不然下次运营改规则,你连对比基线都没有。
我现在把每次跑批的规则版本、问句集、错误分类都存到一个表里,下次改规则前先跑一轮对照。
想问问大佬们:你们跑批时怎么保证「喂给AI的规则」和「线上实际生效的规则」是一致的?有没有自动比对口径的办法?求指点。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
