1. 课程导入

欢迎进入《AML时间外验证与稳定性测试实战》。在反洗钱（Anti-Money Laundering，AML）模型与规则体系的生命周期中，模型开发、阈值调优、上线部署只是前半程；真正决定系统能否长期可信运行的，是上线之后的时间外验证与稳定性测试。很多团队在模型验收阶段表现良好，但上线三个月后误报率飙升、覆盖率骤降，根源往往不是模型本身，而是缺乏对时间维度与运行稳定性的系统检验。

一、什么是AML时间外验证与稳定性测试

AML时间外验证（Out-of-Time Validation，OOT）是指使用与模型开发、训练、调参阶段不同的时间窗口数据，对模型或规则集进行独立评估的过程。它的核心假设是：真实业务是随时间演化的，客户行为、交易模式、洗钱手法和监管重点都会变化，因此模型在“过去”表现好，不代表在“未来”仍然有效。时间外验证通常按时间切分样本，例如用2023年1月至12月数据开发，用2024年1月至6月数据验证，观察模型在未见时间段的区分能力、召回率、误报率和排序稳定性。

稳定性测试则关注模型或规则在运行过程中的输出是否可预期、可复现、可监控。它包括群体稳定性指数（PSI）、特征分布漂移、评分迁移、规则命中率波动、阈值敏感性和系统性能衰减等。稳定性测试不是一次性动作，而是贯穿上线前、上线后、定期复审和重大变更后的持续过程。

二、监管背景与行业要求

近年来，全球主要监管机构对AML模型风险管理的要求持续收紧。美国联邦金融机构检查委员会（FFIEC）发布的BSA/AML检查手册明确要求机构对模型进行独立验证，并关注模型风险治理。美联储SR 11-7《模型风险管理指引》虽非专门针对AML，但其关于模型开发、验证、治理和持续监控的框架已被广泛借鉴。香港金管局、新加坡金管局以及中国人民银行、国家金融监督管理总局的相关反洗钱规定，也都强调可疑交易监测模型的有效性评估、定期复审和留痕管理。

监管关注的重点通常包括：模型是否经过独立验证；验证是否覆盖时间外样本；模型上线后是否持续监控；阈值调整是否有依据；误报和漏报是否有分析；模型变更是否重新验证；文档是否完整可审计。换句话说，监管不仅看“有没有模型”，更看“模型是否被证明持续有效”。

监管关注点	常见要求	对应本课程模块
独立验证	由非开发团队执行，覆盖概念、数据、方法、结果	验证方法论与治理
时间外验证	使用不同时间窗口，评估模型未来表现	OOT样本切分与评估
稳定性监控	PSI、命中率、评分分布、阈值敏感性	稳定性指标与告警
持续监控	定期复审、变更触发、留痕可审计	监控体系与复盘
文档与治理	验证报告、审批记录、版本管理	实战交付物

三、核心原理：为什么时间外验证不可替代

AML模型面对的是对抗性环境。洗钱分子会调整手法，正常客户也会因经济周期、政策变化和支付习惯改变行为。若仅用随机切分或同时间段交叉验证，模型可能记住的是“当时的噪声”，而非可泛化的风险信号。时间外验证模拟了真实上线场景：用历史数据训练，用未来数据检验。它能暴露三类问题：一是过拟合，模型在训练期表现优异但时间外衰减明显；二是概念漂移，风险定义或客户行为发生变化；三是数据泄漏，特征中混入了未来信息，导致评估虚高。

稳定性测试的核心原理是统计过程控制。通过监控评分分布、特征分布和规则命中率，判断当前运行状态是否偏离基线。常用指标包括PSI、KL散度、JS散度和群体稳定性比率。PSI小于0.1通常认为稳定，0.1至0.25为轻微漂移，大于0.25则需调查。但阈值不是绝对标准，应结合业务量、风险偏好和监管要求综合判断。

PSI计算示例（简化）：
PSI = Σ (实际占比 - 预期占比) × ln(实际占比 / 预期占比)

分箱示例：
评分区间    预期占比    实际占比
0-20        0.30        0.22
20-40       0.25        0.24
40-60       0.20        0.23
60-80       0.15        0.19
80-100      0.10        0.12

若PSI=0.18，属于轻微漂移，需结合命中率和召回率进一步分析。

四、方法流程：从验证设计到结论输出

一个完整的时间外验证与稳定性测试项目通常遵循以下流程：

1. 明确验证目标与范围：确定验证对象是规则集、评分卡还是机器学习模型，明确业务场景、风险类型和监管要求。
2. 数据准备与时间切分：按时间划分开发样本、验证样本和时间外样本，确保样本代表性，避免数据泄漏。
3. 基线复现：在验证环境中复现开发团队的模型结果，确认输入、参数和输出一致。
4. 时间外评估：计算区分度、召回率、误报率、覆盖率、提升度等指标，并与开发期对比。
5. 稳定性测试：计算PSI、特征漂移、评分迁移、阈值敏感性和规则命中率波动。
6. 根因分析：对衰减或漂移进行归因，区分数据问题、模型问题、业务变化或外部事件。
7. 结论与建议：给出是否可继续使用、是否需要调优、是否触发重新开发的明确意见。
8. 文档与留痕：形成验证报告、监控指标和审批记录，满足审计要求。

五、案例场景：一次典型的误报率上升复盘

某银行的反洗钱规则集在2023年上线，开发期可疑交易召回率为78%，误报率为92%。2024年一季度，运营团队反馈误报量增加40%，调查资源紧张。初步排查发现，规则未变、系统未改，但时间外验证显示：2024年一季度召回率降至61%，误报率升至96%。进一步分析发现，两笔规则依赖的“跨境小额高频”特征在2024年因支付政策调整而分布右移，导致大量正常跨境电商交易被命中。同时，客户职业字段缺失率从5%升至18%，削弱了风险区分能力。

复盘结论是：模型本身没有“坏”，但输入数据和业务环境发生了变化。若没有时间外验证和稳定性监控，团队可能误以为是调查人员效率问题，甚至错误地继续调高阈值，进一步掩盖漏报风险。最终该行补充了职业字段治理、调整了跨境规则阈值，并建立了月度PSI监控。

六、学习目标与整体课程框架

通过本课程，你将能够：理解AML时间外验证与稳定性测试的监管逻辑和核心概念；掌握时间切分、基线复现、指标计算和漂移检测的实操方法；能够设计验证方案、编写验证脚本、解读验证结果；能够识别常见误区并完成根因分析；能够输出符合监管和审计要求的验证报告。

课程整体分为六个部分：第一部分是导入与基础，建立概念和监管框架；第二部分是数据与样本设计，重点讲时间切分和数据泄漏防范；第三部分是时间外验证方法，覆盖规则、评分卡和机器学习模型；第四部分是稳定性测试，包括PSI、特征漂移、阈值敏感性和监控告警；第五部分是实战案例与复盘，贯穿银行、支付和证券场景；第六部分是治理与交付，讲验证报告、版本管理和持续监控体系。每章都会配有可运行的代码片段、检查清单和实战建议。