2. 实验设计原则
在反洗钱（AML）模型对照实验中，实验设计原则是确保评估结果科学、可信、可复现的基石。本章将详细阐述随机化、控制变量、重复性、代表性样本四大原则在AML场景下的具体应用方法，帮助您构建严谨的模型评估框架。
核心观点： AML模型评估不是简单的“跑分”对比，而是通过严格的实验设计，排除干扰因素，准确衡量模型在真实洗钱检测场景中的增量价值。
1. 随机化原则：消除选择偏差与时间偏差
随机化是保证实验组与对照组在除模型差异外其他特征上具有可比性的关键手段。在AML场景中，随机化主要应用于以下两个层面：
- 样本分配随机化： 将历史交易数据或账户样本随机分配到实验组（新模型）与对照组（基准模型），确保两组在交易金额、交易频率、客户风险等级、地域分布等维度上无系统性差异。
- 时间窗口随机化： 避免因特定时间段（如月末、节假日、监管检查期）的交易行为异常导致评估偏差。建议将不同时间段的交易数据随机打乱后分配。
AML实践提示： 对于洗钱模式具有明显季节性或周期性特征的场景（如跨境贸易、年终资金归集），应使用分层随机化，先按时间周期分层，再在层内随机分配，以保持时间分布的一致性。
2. 控制变量原则：隔离模型差异，排除干扰因素
控制变量是实验设计的核心，要求除被评估的模型本身外，其他所有可能影响结果的因素保持一致。在AML模型对照实验中，需要严格控制的变量包括：
| 变量类别 | 具体变量 | 控制方法 | 失控风险 |
|---|---|---|---|
| 数据输入 | 特征工程、数据源、时间范围 | 使用完全相同的预处理管道和特征集 | 模型效果差异被数据差异掩盖 |
| 评估指标 | 阈值、评价口径、成本权重 | 统一设定相同的评估标准和计算逻辑 | 指标不可比，结论失真 |
| 运行环境 | 硬件配置、软件版本、并行策略 | 在相同计算环境下运行，记录环境快照 | 性能差异被误判为模型能力差异 |
| 后处理逻辑 | 预警规则、人工复核流程、处置策略 | 保持相同的业务后处理链路 | 无法区分模型贡献与规则贡献 |
常见陷阱： 在AML实践中，经常出现实验组使用“优化后的特征工程”而对照组使用“原始特征”的情况。这违反了控制变量原则——此时评估的是“特征+模型”的组合效果，而非模型本身的增量价值。正确的做法是：两组使用完全相同的特征集，仅模型算法不同。
3. 重复性原则：确保结果稳定，排除偶然性
重复性要求实验能够在相同条件下多次执行并获得一致结果。在AML模型评估中，重复性体现在以下三个层次：
- 多次运行重复： 对同一模型使用不同随机种子运行5-10次，记录指标均值和标准差，评估模型稳定性。
- 交叉验证重复： 采用K折交叉验证（K=5或10），确保模型在不同数据子集上的表现一致。
- 时间序列重复： 使用滚动时间窗口（如按月、按季度）重复评估，验证模型在不同时间段的泛化能力。
AML场景特殊要求： 洗钱模式会随监管政策、经济环境、犯罪手法演变而动态变化。因此，重复性评估不仅要关注统计稳定性，还要关注模型在“时间维度”上的重复表现——即模型是否在多个连续时间窗口内保持稳定的检测能力。
4. 代表性样本原则：覆盖真实洗钱场景的多样性
样本的代表性直接决定了模型评估结论能否推广到实际业务环境。在AML场景中，代表性样本需要满足以下条件：
| 维度 | 要求 | 常见问题 | 解决方案 |
|---|---|---|---|
| 客户类型 | 覆盖个人、企业、机构等全量客户画像 | 仅使用高净值客户样本，忽略长尾客户 | 按客户分层抽样，确保各层级均有代表 |
| 交易模式 | 包含正常交易、可疑交易、边缘案例 | 样本中可疑交易占比过高，脱离实际分布 | 保持与真实业务相近的正负样本比例 |
| 风险等级 | 覆盖低、中、高、极高风险客户 | 过度聚焦高风险客户，低估中低风险场景 | 按风险等级分层，确保各等级样本充足 |
| 地域分布 | 覆盖主要业务区域及高风险司法管辖区 | 样本集中在单一地区，缺乏跨区域代表性 | 按交易量或风险权重进行地域分层抽样 |
实操建议： 在构建代表性样本时，建议采用“分层比例抽样 + 边缘案例过采样”的组合策略。先按客户风险等级、交易类型、地域等维度分层，确保各层样本比例与真实业务一致；再对可疑交易、新型洗钱模式等边缘案例进行适度过采样，保证模型对罕见但重要的模式有足够的识别能力。
四大原则的协同应用框架
在AML模型对照实验中，四大原则并非孤立执行，而是相互协同、共同构成完整的实验设计体系。以下框架展示了它们在实际评估流程中的协同关系：
总结： 在AML模型对照实验中，随机化确保样本可比，控制变量确保差异归因准确，重复性确保结论稳定，代表性样本确保结论可推广。四大原则共同构成了模型评估的“质量护栏”，是避免“虚假提升”和“过拟合幻觉”的根本保障。在后续章节中，我们将基于这些原则，深入讲解具体的评估指标、流程设计和结果分析方法。