1. 课程导论：反洗钱模型评估的重要性、课程目标与适用人群、对照实验在模型验证中的核心地位
1.1 为什么反洗钱模型评估如此重要？
反洗钱（AML）模型是金融机构抵御非法资金流动的第一道防线。一个误报率过高或漏报率失控的模型，不仅会导致合规成本飙升，更可能使机构面临监管处罚与声誉损失。模型评估的核心在于：在真实业务环境中，模型能否稳定、准确地识别可疑交易？
根据 FATF（金融行动特别工作组）与各国监管指引，AML 模型必须经过严格的持续验证与独立评估。评估不是一次性的“上线检查”，而是贯穿模型全生命周期的动态过程。
关键洞察： 超过 70% 的 AML 模型在投产后的前 6 个月内会出现性能衰减，主要原因是洗钱模式演变、数据分布偏移或规则阈值老化。定期评估与对照实验是发现这些问题的唯一可靠手段。
1.2 课程目标与适用人群
本课程旨在建立一套可量化、可复现、可审计的 AML 模型评估与对照实验方法论。完成本课程后，学员将能够：
- 设计 AML 模型评估指标体系（准确率、召回率、精确率、F1、AUC-ROC、提升度等）。
- 构建 对照实验框架，区分模型改进的真实效果与随机波动。
- 识别 模型过拟合、数据泄露、时间穿越等常见陷阱。
- 输出 符合监管要求的模型验证报告。
| 适用人群 | 核心需求 | 课程价值 |
|---|---|---|
| AML 合规分析师 | 理解模型输出，向监管解释模型行为 | 掌握评估指标与验证流程 |
| 金融风控建模师 | 优化模型性能，降低误报与漏报 | 学会对照实验设计与 A/B 测试 |
| 数据科学家 | 构建可复现的模型评估流水线 | 掌握时间序列交叉验证与回测技术 |
| 模型验证/审计人员 | 独立评估模型有效性与稳健性 | 获得标准化评估框架与检查清单 |
1.3 对照实验在模型验证中的核心地位
在 AML 领域，模型验证面临一个根本性挑战：我们无法直接观测到“如果不用这个模型，结果会怎样”。 对照实验（Controlled Experiment）通过构建合理的反事实基线，解决了这一难题。
对照实验的核心思想是：在控制其他变量不变的前提下，比较“使用新模型”与“使用旧模型/无模型”两种场景下的业务表现差异。 在 AML 模型验证中，对照实验通常表现为以下三种形式：
- 时间序列对照（回测）： 用历史数据模拟模型在“过去”的表现，与真实发生的案件进行对比。
- 分组对照（A/B 测试）： 将交易流量或账户池随机分为两组，一组使用新模型，一组使用旧模型或规则引擎。
- 合成对照（Synthetic Control）： 当无法随机分组时，通过加权组合多个对照组来模拟反事实结果。
实践建议： 在 AML 场景中，优先使用时间序列回测作为对照实验的基础。因为洗钱模式具有强时间依赖性，随机分组可能破坏交易的时间结构，导致评估结果失真。
对照实验之所以在模型验证中占据核心地位，是因为它提供了因果推断的基础——我们能够有统计信心地说：“模型性能的提升，确实是由模型本身带来的，而不是因为数据分布变化或随机波动。”
1.4 课程核心框架预览
本课程将围绕以下五大模块展开，每个模块都包含理论讲解、代码实现与案例实战：
| 模块 | 核心内容 | 对照实验应用 |
|---|---|---|
| 模块 1 评估指标体系 | 准确率、召回率、精确率、F1、AUC-ROC、提升度、成本矩阵 | 定义实验的“成功指标” |
| 模块 2 数据准备与时间分割 | 时间序列交叉验证、避免数据泄露、滑动窗口回测 | 构建时间对照基线 |
| 模块 3 对照实验设计 | A/B 测试、合成对照、贝叶斯结构时间序列 | 核心实验框架搭建 |
| 模块 4 统计显著性检验 | 置换检验、Bootstrap、贝叶斯因子、多重比较校正 | 判断实验结果的可靠性 |
| 模块 5 模型验证报告 | 监管合规要求、报告模板、可视化最佳实践 | 将实验结果转化为合规证据 |
重要提醒： 本课程所有对照实验方法均需在生产环境隔离或历史数据回测中进行。严禁在未经验证的模型上直接进行线上 A/B 测试，以免影响真实交易监控与案件调查。
1.5 本章小结
本章作为课程导论，明确了以下三个核心认知：
- AML 模型评估 不是可选项，而是监管合规与风险管理的刚性需求。
- 本课程 面向 AML 合规分析师、风控建模师、数据科学家与模型验证人员，提供从指标到报告的完整方法论。
- 对照实验 是模型验证的“黄金标准”，它解决了反事实不可观测的根本难题，为模型改进提供了统计可信的因果证据。