1. AML模型对照实验概述
在反洗钱（AML）模型评估中，对照实验是衡量模型性能提升是否真实、可靠的核心方法。它通过控制变量、设置基准组与实验组，帮助数据科学家和合规分析师回答一个关键问题：“新模型是否比现有模型或规则更有效？”
1.1 什么是AML模型对照实验
对照实验（Controlled Experiment）是指在保持其他条件不变的前提下，将待评估的AML模型（实验组）与当前生产环境中的基准模型或规则（对照组）在相同的数据集、时间窗口和评估指标下进行并行比较。其核心思想是：通过控制混淆变量，隔离出模型本身的增量效果。
| 维度 | 对照组（Baseline） | 实验组（New Model） |
|---|---|---|
| 模型/规则 | 当前生产规则或旧模型 | 新开发的AML模型 |
| 数据输入 | 同一历史交易数据集 | 同一历史交易数据集 |
| 评估时间窗口 | 相同（如2024Q1） | 相同（如2024Q1） |
| 评估指标 | 精确率、召回率、F1、AUC等 | 精确率、召回率、F1、AUC等 |
| 目标 | 提供性能基准 | 验证增量提升 |
关键概念： 对照实验不是简单的“跑两个模型看结果”，而是需要严格保证数据、特征、评估流程的一致性，否则对比结果将失去统计意义。
1.2 为什么需要对照实验
AML模型评估面临多种干扰因素，如果不进行对照实验，很容易得出错误的结论。以下三个核心原因解释了对照实验的必要性：
- 消除混淆变量（Confounding Variables）
交易数据随时间变化、业务策略调整、外部监管环境变化等都会影响模型表现。对照实验通过在同一时间窗口、同一数据集上并行比较，确保观察到的差异来自模型本身，而非外部因素。 - 验证模型增量效果（Incremental Lift）
新模型可能只在某些子群体（如跨境交易、高净值客户）上表现更好，而在整体指标上提升不明显。对照实验可以分层分析，量化模型在关键风险维度上的真实增量。 - 避免过拟合与偶然性
单次运行结果可能受随机种子、数据切分方式影响。对照实验通常结合交叉验证或多次重复实验，确保性能提升具有统计显著性，而非偶然波动。
实践建议： 在AML模型对照实验中，建议至少设置三组：规则基线组（当前生产规则）、旧模型组（上一版模型）、新模型组（待评估模型），以便全面评估增量效果。
1.3 对照实验的核心流程
一个标准的AML模型对照实验通常包含以下步骤：
- 步骤1：定义实验目标 — 明确要评估的模型版本、评估指标（如召回率提升5%以上）
- 步骤2：准备对照数据集 — 选取具有代表性的历史交易数据，包含已知洗钱案例和正常交易
- 步骤3：设置对照组与实验组 — 确保两组使用完全相同的特征工程和数据处理流程
- 步骤4：运行实验 — 在相同计算环境下并行执行，记录所有中间结果
- 步骤5：统计分析与结果解读 — 计算指标差异，进行假设检验（如t检验、McNemar检验）
- 步骤6：决策与部署 — 根据实验结果决定是否替换生产模型
1.4 对照实验 vs. 非对照评估
为了更清晰地理解对照实验的价值，下表对比了对照实验与非对照评估（如单独跑模型、前后时间对比）的关键差异：
| 对比维度 | 对照实验 | 非对照评估 |
|---|---|---|
| 混淆变量控制 | 严格控制在相同条件下 | 无法排除时间、数据分布变化 |
| 增量效果验证 | 可直接计算提升幅度 | 难以区分模型提升 vs. 环境变化 |
| 统计显著性 | 支持假设检验 | 通常缺乏统计依据 |
| 可重复性 | 高（流程标准化） | 低（依赖单次运行） |
| 适用场景 | 模型上线前评估、A/B测试 | 快速原型验证、探索性分析 |
常见误区： 有些团队将新模型在2024年数据上的表现与旧模型在2023年数据上的表现直接对比，这属于典型的“时间混淆”错误，不能作为模型提升的有效证据。必须使用同一时间窗口的数据进行对照实验。
1.5 对照实验在AML中的特殊考量
AML模型对照实验与通用机器学习对照实验相比，有以下特殊之处：
- 类别极度不平衡 — 洗钱交易占比通常低于0.1%，需要采用分层抽样或代价敏感评估
- 时间依赖性 — 洗钱行为具有时序模式，不能简单随机切分数据，需按时间顺序划分训练/测试集
- 监管合规要求 — 对照实验的设计和结果需要可审计、可复现，以满足监管机构对模型验证的要求
- 业务成本不对称 — 漏报（False Negative）的代价远高于误报（False Positive），评估指标需反映业务成本