3. 样本构建核心概念：正样本、负样本与样本不平衡问题
在AML机器学习建模中，样本构建是决定模型上限的基础环节。正样本（可疑交易/账户）与负样本（正常交易/账户）的定义质量，以及样本不平衡问题的处理策略，直接影响模型在真实场景中的召回率与误报率。
3.1 正样本：可疑交易与账户
正样本指被监管机构、内部调查或历史规则明确判定为涉及洗钱、恐怖融资或其他金融犯罪的活动。正样本的构建需遵循以下原则：
- 监管定义对齐：依据FATF、央行反洗钱规定、可疑交易报告（STR）标准，确保样本标签符合法规要求。
- 多源标签融合：结合内部调查确认、监管处罚案例、司法判决、黑名单命中、历史规则命中记录。
- 时间窗口约束：正样本的标签时间点需在交易发生或账户活跃期内，避免未来信息泄露。
| 正样本来源 | 说明 | 典型标签 |
|---|---|---|
| 内部调查确认 | AML分析师经人工核查后确认的可疑案例 | is_suspicious = 1 |
| 监管处罚记录 | 央行或FIU公布的行政处罚案例 | has_penalty = 1 |
| 黑名单命中 | 联合国、OFAC、欧盟等制裁名单匹配 | on_sanction_list = 1 |
| 历史规则命中 | 已有AML规则系统（如阈值规则、行为规则）触发的案例 | rule_hit_count > 0 |
实践要点：正样本的纯度比数量更重要。宁可减少样本量，也要确保每个正样本的标签经过至少两级人工复核，避免噪声标签污染模型。
3.2 负样本：正常交易与账户
负样本代表未发现任何洗钱特征的正常金融活动。负样本的构建需注意以下关键点：
- 排除潜在可疑：所有负样本必须经过规则筛查和人工抽检，确保不包含未确认的可疑活动。
- 覆盖正常行为多样性：负样本应包含不同客户类型、交易金额、交易频率、地理分布的正常模式。
- 时间对齐：负样本的时间窗口应与正样本保持一致，避免因时间偏移导致特征分布差异。
| 负样本构建策略 | 适用场景 | 注意事项 |
|---|---|---|
| 随机抽样 | 数据量充足，正样本比例极低 | 需确保抽样不引入偏差 |
| 分层抽样 | 客户类型、业务线差异明显 | 按客户等级、交易量等维度分层 |
| 时间窗口匹配 | 正样本集中在特定时间段 | 负样本从相同时间段抽取 |
| 硬负样本挖掘 | 模型需要提升区分能力 | 选取与正样本特征接近的正常样本 |
3.3 样本不平衡问题
AML场景中，正样本比例通常低于0.1%，极端情况下甚至低于0.01%。这种极度不平衡会导致模型倾向于将所有样本预测为负类，从而丧失检测能力。
不平衡比率示例：某银行月均交易量5000万笔，经确认的可疑交易约200笔，正负样本比例约为1:250,000。若不处理，模型准确率可达99.9996%，但召回率为0%。
3.3.1 不平衡带来的核心问题
- 梯度主导：负样本的损失占据绝对主导，模型梯度方向偏向负类。
- 决策边界偏移：模型倾向于将决策边界推向正样本区域，导致大量漏报。
- 评估指标失真：准确率（Accuracy）失去意义，需依赖精确率、召回率、F1、AUC-PR等指标。
3.3.2 常用处理策略
| 策略类别 | 具体方法 | AML适用性 |
|---|---|---|
| 数据层面 | 随机欠采样、SMOTE过采样、ADASYN | 欠采样可能丢失重要负样本模式；SMOTE需注意生成样本的合理性 |
| 算法层面 | 代价敏感学习、Focal Loss、阈值移动 | Focal Loss在AML场景中表现较好，可降低易分类负样本的权重 |
| 集成方法 | EasyEnsemble、BalanceCascade、LightGBM with scale_pos_weight | LightGBM的scale_pos_weight参数可直接调节正负样本权重 |
| 异常检测 | 孤立森林、One-Class SVM、自编码器 | 适用于正样本极度稀缺（<0.01%）的场景 |
重要提醒：在AML场景中，不要对测试集或验证集进行任何形式的采样或权重调整。所有不平衡处理仅应用于训练集，否则会导致模型性能评估严重失真。
3.4 样本构建流程总览
下图展示了从原始数据到最终训练样本的完整构建流程，涵盖正负样本定义、标签融合、不平衡处理与数据集划分。
3.5 样本不平衡处理效果对比
以下表格对比了不同不平衡处理策略在AML典型场景下的效果，数据基于某银行实际项目测试结果：
| 策略 | 召回率 | 精确率 | F1分数 | 训练时间 |
|---|---|---|---|---|
| 无处理（原始） | 0.02 | 0.85 | 0.04 | 1.0x |
| 随机欠采样 | 0.68 | 0.12 | 0.20 | 0.6x |
| SMOTE过采样 | 0.75 | 0.09 | 0.16 | 2.3x |
| Focal Loss (γ=2) | 0.82 | 0.21 | 0.33 | 1.1x |
| LightGBM scale_pos_weight | 0.79 | 0.18 | 0.29 | 1.0x |
| 集成方法 (EasyEnsemble) | 0.85 | 0.15 | 0.26 | 3.5x |
选择建议：在AML场景中，优先尝试Focal Loss或LightGBM的scale_pos_weight参数，它们在召回率和训练效率之间取得了较好的平衡。若正样本极度稀缺（<0.001%），可考虑异常检测方法作为补充。
3.6 样本构建中的常见陷阱
- 标签泄露：使用未来信息（如事后调查结果）作为当前时间点的标签，导致模型在训练时“看到未来”。
- 样本选择偏差：仅从已发现的可疑案例中构建正样本，忽略了未被发现的潜在可疑活动。
- 过度采样导致过拟合：SMOTE等过采样方法在正样本极少时可能生成不合理的合成样本，导致模型泛化能力下降。
- 忽视时间序列特性：交易数据具有强时间依赖性，随机划分训练/测试集可能导致时间穿越。
关键原则：样本构建必须遵循“时间顺序严格划分”原则——训练集时间必须早于验证集，验证集时间必须早于测试集。任何违反时间顺序的样本划分都会导致模型性能被高估。