4. AML模型监控体系：全生命周期监控框架
AML模型上线后并非“一劳永逸”。随着客群行为、宏观经济、洗钱手法以及数据源的变化，模型性能会随时间发生衰减。因此，必须建立覆盖数据层、特征层、模型输出层的三层监控体系，实现从数据输入到决策输出的全链路漂移感知与告警。
4.1 三层监控框架总览
全生命周期监控框架将监控对象划分为三个独立但相互关联的层面。每个层面都有明确的监控指标、告警阈值与处置流程。
核心原则： 数据层保障“输入正确”，特征层保障“表征稳定”，模型输出层保障“决策一致”。任何一层的异常都可能触发PSI漂移告警，需要逐层下钻定位根因。
4.2 数据层监控
数据层是模型稳定的基石。数据质量问题会直接传导至特征和输出层，造成虚假漂移告警或掩盖真实漂移。
| 监控维度 | 核心指标 | 典型阈值 | 告警触发场景 |
|---|---|---|---|
| 数据完整性 | 字段缺失率、记录数波动率 | 缺失率 > 5% 或记录数波动 > ±20% | 上游ETL中断、字段被废弃、源表被删除 |
| 数据时效性 | 数据延迟时间、T+1到账率 | 延迟 > 2小时 或 T+1到账率 < 99% | 批量任务超时、实时管道积压 |
| 数据分布偏移 | 单变量KS检验、PSI（数据级） | PSI > 0.1 或 KS p值 < 0.05 | 客群结构变化、新渠道接入、季节性波动 |
| 源系统变更 | 字段类型变更、枚举值新增/减少 | 任何变更即告警 | 核心系统升级、数据字典变更未通知 |
实战经验： 数据层监控应优先于特征和模型输出层部署。很多PSI告警的根因其实是上游数据字段含义发生了变化，而非客群真实行为漂移。建议在数据接入层设置“字段指纹”校验，自动比对元数据变更。
4.3 特征层监控
特征层是连接原始数据与模型决策的桥梁。特征漂移是PSI告警最常见的来源，需要细粒度监控每个特征的稳定性。
4.3.1 特征监控指标体系
- 特征PSI（Population Stability Index）： 衡量每个特征在训练集与生产期分布差异，PSI < 0.1 为稳定，0.1~0.25 需关注，> 0.25 为严重漂移。
- 特征缺失率趋势： 监控特征缺失率是否随时间上升，缺失率突变往往意味着数据源问题。
- 特征相关性漂移： 监控特征间相关系数矩阵的变化，尤其是与目标变量的相关性是否衰减。
- 特征值域/分箱占比变化： 对连续特征分箱后，监控每个分箱的样本占比是否发生显著变化。
4.3.2 特征漂移处置策略
| 漂移程度 | PSI范围 | 处置动作 | 优先级 |
|---|---|---|---|
| 无漂移 | [0, 0.1) | 持续监控，无需干预 | - |
| 轻度漂移 | [0.1, 0.25) | 标记特征，增加采样频率，排查数据源 | P2 |
| 中度漂移 | [0.25, 0.5) | 触发告警，启动特征重分箱或特征工程调整 | P1 |
| 严重漂移 | > 0.5 | 紧急告警，考虑特征剔除或模型紧急回滚 | P0 |
4.4 模型输出层监控
模型输出层直接反映模型决策行为的变化，是业务最关注的监控层面。输出层PSI漂移往往意味着模型需要重新训练或调整阈值。
4.4.1 输出层核心监控指标
- 模型分数PSI： 模型预测分数整体分布的稳定性，是输出层最重要的全局指标。
- 拒绝率/通过率漂移： 监控高风险客户占比是否发生突变，影响业务审批策略。
- 命中率变化： 模型识别出的可疑交易/客户占比是否稳定。
- 校准曲线偏移： 模型预测概率与实际发生率的匹配程度是否下降。
- 误报率/漏报率趋势： 结合人工复核结果，监控模型精度是否衰减。
4.4.2 输出层告警分级与响应
| 告警级别 | PSI范围 | 影响评估 | 响应时效 | 典型处置 |
|---|---|---|---|---|
| P0 紧急 | > 0.5 | 模型决策严重偏离，可能造成重大合规风险 | 30分钟内 | 立即回滚至上一稳定版本，暂停模型决策 |
| P1 严重 | 0.25 ~ 0.5 | 模型性能明显下降，需紧急干预 | 2小时内 | 启动模型重训流程，调整决策阈值 |
| P2 警告 | 0.1 ~ 0.25 | 模型出现漂移趋势，需持续观察 | 24小时内 | 增加监控频率，排查特征层根因 |
| P3 提示 | 0.05 ~ 0.1 | 轻微波动，属于正常范围 | 周报记录 | 记录日志，纳入周度稳定性报告 |
注意： 模型输出层PSI告警不能孤立看待。当输出层PSI > 0.25时，必须联动检查特征层和数据层，排除“虚假漂移”（即数据问题导致的输出变化）后再决定是否重训模型。直接重训可能掩盖底层数据质量问题。
4.5 三层联动监控机制
三层监控不是孤立的，而是形成“数据→特征→输出”的因果链。当输出层出现PSI告警时，标准排查流程如下：
- 第一步： 检查数据层监控面板，确认是否存在数据缺失、延迟或分布突变。
- 第二步： 若数据层正常，下钻至特征层，查看哪些特征的PSI发生了显著漂移。
- 第三步： 对漂移特征进行根因分析，区分是“真实客群变化”还是“数据质量/特征工程问题”。
- 第四步： 根据根因分析结果，决定是修复数据、调整特征、重训模型还是回滚版本。
- 第五步： 处置完成后，持续监控48小时，确认PSI回归稳定区间。
最佳实践： 建议搭建统一的“模型监控仪表盘”，将三层监控指标整合在同一视图，支持一键下钻。仪表盘应包含：数据层健康度评分、特征层Top-N漂移特征列表、输出层PSI趋势图、告警事件时间线。这样可以在5分钟内完成从告警到根因定位的全流程。