3. 样本分层概念
在反洗钱建模中,样本分层(Stratification)是指将总体样本按照某个或某几个关键特征划分为若干个互不重叠的子集(层),然后在每一层内独立进行抽样或建模分析。分层不是简单的分组,而是一种有目的、有依据的结构化拆分策略。
3.1 样本分层的目的
分层的主要目的可以归纳为以下四点:
- 提升层内同质性:将特征相似的样本归入同一层,减少层内变异,使层内样本更具代表性。
- 增强层间异质性:不同层之间应具有明显差异,从而捕捉不同风险模式下的行为特征。
- 控制样本偏差:避免因简单随机抽样导致稀有但高风险群体被遗漏或代表性不足。
- 提高模型稳定性:分层后各层独立建模或抽样,可降低整体模型的方差,提升泛化能力。
反洗钱场景提示: 在 AML 建模中,正常交易与可疑交易的比例往往极度失衡(1:10000 甚至更低)。如果不分层,模型会倾向于将所有样本预测为正常,导致漏报率极高。分层是解决这一问题的第一道防线。
3.2 分层抽样与简单随机抽样的对比
简单随机抽样(Simple Random Sampling, SRS)是最基础的抽样方法,每个样本被选中的概率相等。分层抽样(Stratified Sampling)则是在分层后,在每一层内独立进行随机抽样或全量保留。两者的核心差异如下表所示:
| 对比维度 | 简单随机抽样 (SRS) | 分层抽样 (Stratified Sampling) |
|---|---|---|
| 抽样方式 | 从总体中直接随机抽取 | 先分层,再在各层内独立抽样 |
| 层内同质性 | 不保证 | 层内样本高度同质 |
| 稀有群体覆盖 | 容易遗漏小群体 | 可强制覆盖或过采样小群体 |
| 估计精度 | 方差较大,依赖样本量 | 方差更小,精度更高 |
| 操作复杂度 | 低,易于实现 | 中等,需先确定分层变量 |
| 适用场景 | 总体分布均匀、样本量充足 | 总体分布不均、存在稀有类别 |
从对比中可以看出,分层抽样在反洗钱场景中具有明显优势。例如,当我们需要同时覆盖个人客户、对公客户和高风险地区客户时,简单随机抽样很可能导致高风险地区客户样本不足,而分层抽样可以确保每一类客户都有足够的代表性样本。
3.3 分层在反洗钱模型中的价值
分层在反洗钱模型中的价值体现在数据预处理、特征工程和模型评估三个层面:
- 数据预处理层面:通过分层,可以针对不同风险等级的样本采用不同的缺失值填充策略或异常值处理方式。例如,对高风险层保留更多原始特征,对低风险层进行更严格的去噪。
- 特征工程层面:分层后可以针对每一层单独计算统计特征(如均值、标准差、分位数),避免全局统计量被某一层主导。例如,个人客户的平均交易金额与对公客户差异巨大,分层后特征更具区分度。
- 模型评估层面:分层交叉验证(Stratified K-Fold)可以保证每一折中各类别样本的比例与总体一致,避免因随机划分导致某一折中缺少可疑样本,从而更准确地评估模型性能。
实战经验: 在 AML 项目中,最常见的分层变量包括:客户类型(个人/对公)、风险等级(高/中/低)、交易金额区间(小额/大额/超大额)、交易频率(低频/高频)。选择分层变量时,应优先选择与洗钱风险直接相关的特征。
下图展示了分层在反洗钱模型中的整体流程与价值体现:
上图清晰地展示了从原始样本池出发,依据客户类型、风险等级或交易金额进行分层,形成低、中、高三个风险层,每层独立进行特征工程和建模,最终实现模型稳定性提升和召回率优化的完整路径。
常见误区: 分层不是分得越细越好。过度分层会导致某些层样本量过少,无法支撑有效的统计推断或模型训练。一般建议每层至少包含 50-100 个样本,且层数不宜超过 5-8 层。分层变量的选择应基于业务理解和数据探索,而非盲目尝试。
3.4 分层在反洗钱中的典型应用场景
下表总结了反洗钱建模中常见的分层应用场景及其价值:
| 应用场景 | 分层变量 | 分层价值 |
|---|---|---|
| 客户风险评级建模 | 客户类型、行业、地区 | 不同风险等级客户采用不同特征权重 |
| 交易异常检测 | 交易金额区间、交易频率 | 小额高频与大额低频分别建模,提高检测精度 |
| 可疑活动报告 (SAR) 预测 | 历史 SAR 记录、账户年龄 | 历史可疑账户与正常账户分层,避免样本失衡 |
| 跨境交易监控 | 交易对手国家、币种 | 高风险国家单独建模,降低误报率 |