4、模型评估基础：评估的目的（性能、稳定性、公平性）、评估生命周期（开发期、验证期、监控期）
模型评估是反洗钱模型生命周期中承上启下的关键环节。评估不是一次性的“考试”，而是贯穿模型开发、验证和持续监控的闭环过程。评估的目的决定了评估的维度，评估的生命周期决定了评估的节奏与深度。
4.1 评估的三大目的：性能、稳定性、公平性
反洗钱模型的评估必须同时回答三个问题：模型是否足够准？是否足够稳？是否足够公平？ 三者缺一不可。
| 评估维度 | 核心问题 | 关键指标 | 反洗钱场景示例 |
|---|---|---|---|
| 性能 (Performance) | 模型区分好坏样本的能力如何？ | KS、AUC、F1-score、Recall@K、Precision | 模型能否在高召回率下，将可疑交易识别率提升至 90% 以上 |
| 稳定性 (Stability) | 模型在时间推移或客群变化时，输出是否一致？ | PSI (群体稳定性指标)、CSI (特征稳定性指标) | 新开户激增后，模型评分分布是否发生剧烈偏移 |
| 公平性 (Fairness) | 模型是否对特定客群存在系统性偏差？ | Demographic Parity、Equal Opportunity、Disparate Impact | 模型是否对小微企业主或跨境贸易客群产生更高的误报率 |
避坑提示： 很多团队只关注性能指标（AUC/KS），忽略稳定性和公平性。在反洗钱场景中，一个“高 AUC 但 PSI 超标”的模型，上线后可能因客群漂移导致大量误报或漏报，直接引发监管风险。
4.2 评估生命周期：开发期、验证期、监控期
评估不是一次性的动作，而是贯穿模型全生命周期的持续活动。根据模型所处的阶段，评估的侧重点和方法有所不同。
4.2.1 开发期评估 (Development Phase)
发生在模型训练与调优阶段，主要目的是指导特征工程、算法选择和超参数调优。开发期评估通常使用训练集和验证集（或交叉验证）进行。
- 评估重点： 性能指标为主（AUC、KS、Recall@K），兼顾特征稳定性。
- 常用方法： 时间序列交叉验证（TimeSeriesSplit）、分组K折交叉验证。
- 输出物： 特征重要性排序、模型性能对比表、最优超参数组合。
4.2.2 验证期评估 (Validation Phase)
发生在模型开发完成后、上线部署之前，由独立验证团队（或风控模型验证组）执行。主要目的是确认模型是否满足业务上线标准，并识别潜在风险。
- 评估重点： 性能、稳定性、公平性全面评估；使用独立的验证集（OOT样本，Out-of-Time）。
- 常用方法： 回测（Backtesting）、压力测试（Stress Testing）、公平性审计。
- 输出物： 模型验证报告、上线建议书、风险缓释措施清单。
4.2.3 监控期评估 (Monitoring Phase)
发生在模型上线后，持续进行。主要目的是实时监测模型表现是否退化，并及时触发预警或模型迭代。
- 评估重点： 稳定性指标（PSI/CSI）为主，性能指标（AUC/Recall）为辅。
- 常用方法： 月度/季度监控报告、漂移检测、阈值预警。
- 输出物： 模型监控看板、预警通知、模型退役或重训建议。
最佳实践： 建议在监控期设置“双阈值”机制：黄色预警阈值（PSI > 0.1）触发人工复核；红色预警阈值（PSI > 0.25）触发模型紧急下线或自动回滚。
4.3 评估生命周期全景图
下图展示了反洗钱模型评估在开发期、验证期和监控期的核心活动与流转关系。
4.4 各阶段评估指标速查表
下表总结了三个评估阶段的核心指标与使用频率，方便在实际工作中快速对照。
| 评估阶段 | 核心指标 | 辅助指标 | 评估频率 | 数据来源 |
|---|---|---|---|---|
| 开发期 | AUC、KS、Recall@K | 特征重要性、训练/验证集差异 | 每次模型迭代 | 训练集 + 验证集 |
| 验证期 | AUC、PSI、公平性指标 | 压力测试通过率、回测偏差 | 模型上线前一次 | 独立 OOT 样本 |
| 监控期 | PSI、CSI、Recall 趋势 | 误报率、漏报率、阈值命中率 | 月度/季度 | 实时生产数据 |
监管合规提醒： 根据 FATF 及国内反洗钱监管要求，模型验证报告必须由独立于开发团队的第三方或内部独立部门出具。监控期评估记录需至少保存 5 年，以备监管检查。
4.5 评估生命周期中的常见误区
- 误区一： 用训练集指标代替验证集指标。开发期 AUC 再高，不代表 OOT 样本表现好。
- 误区二： 只关注性能，忽略稳定性。一个 AUC=0.95 但 PSI=0.3 的模型，上线后可能迅速失效。
- 误区三： 验证期只做一次评估。建议在模型上线前进行多轮压力测试，模拟极端客群变化。
- 误区四： 监控期只做月度报告，没有实时预警。反洗钱场景中，模型漂移可能在一周内发生。
4.6 评估生命周期中的关键角色与职责
为了确保评估的独立性和有效性，建议明确以下角色分工：
4.7 小结
模型评估是反洗钱模型治理的基石。评估的三大目的——性能、稳定性、公平性——构成了评估的“三维坐标”。评估的生命周期——开发期、验证期、监控期——定义了评估的“时间轴”。只有将三维坐标与时间轴紧密结合，才能构建一个可信任、可解释、可追溯的反洗钱模型评估体系。