GEO优化
同一批问句,销售和技术的口径差了三倍,谁定这个数
63 1 35
上周拉了个跨部门会,主题是GEO试点的效果口径。简单说,会开到一半我就发现不对劲:销售报的AI提及率是18%,技术这边跑出来是6%,同一批问句、同一个工具、同一周的数据。
差在哪?我把两边的原始导出都翻了一遍,问题出在三个地方。
第一,分母不同。 销售的分母是「他们自己筛过的100条核心问句」,技术的分母是「问句库全量480条」。同样10次提及,一个除100,一个除480,能差近5倍。这不是谁算错,是没人事先定清楚「提及率」到底除以什么。
第二,判定标准不同。 销售那边,AI回答里只要出现品牌名就算提及;技术这边卡的是「品牌名+至少一个正确参数」。一条回答说了品牌但把保修期答错了,销售算进去,技术剔掉。这个差异在实际数据里占了差不多15%的条目。
第三,采样时段不同。 销售是上午10点跑的,技术是凌晨2点跑的。别笑,我上个月专门验证过,同一批问句不同时段的提及率能飘好几个点,尤其碰到促销话术更新的窗口。
我的判断很直接:GEO的技术门槛真不高,工具跑批谁都会,卡人的是口径治理。口径不统一,后面所有汇报都是自说自话。
所以会上我定了三条规矩,供各位参考:
- 分母写死:问句库版本号和总数进报告页脚,任何提报必须带这个数,换版本就重新基线。
- 判定规则文档化:什么算「提及」、什么算「有效提及」,写成判定树,销售和技术用同一份,争议条目双人复核。
- 采样时段对齐:固定窗口跑批,报告里标注时间戳,跨时段对比前先做一次同窗口重测。
补一句,口径定完我要求把历史数据按新规则重算了一遍,18%掉到7%,销售那边一开始不接受,但把判定树逐条过完之后没人再吵了。数据一致性这事,靠的不是说服,是规则可复现。
现在有个问题一直没解决:口径的最终解释权该归谁?技术上我可以说清楚每个数的算法,但「有效提及」里那个「有效」的边界,本质是业务判断。我们目前是技术定规则、业务签字,但真出了争议还是互相推。你们团队里这个数是谁拍板的?有没有更顺的机制?
顺带问一句,你们报告页脚会写问句库版本吗?还是只有我一个人在这较真。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
