1. 模型监控概述：为什么需要模型监控、模型监控的生命周期、监控体系的核心要素
1.1 为什么需要模型监控
信用评分模型在部署上线后，其预测性能并非一成不变。随着宏观经济环境、客户群体结构、业务策略以及数据采集方式的变化，模型的表现会逐渐衰减。缺乏持续监控的模型，轻则导致评分排序能力下降，重则引发信贷风险误判、合规违规甚至重大财务损失。
核心驱动因素：
- 数据分布漂移： 训练样本与线上真实样本的特征分布发生偏移（如收入结构、消费行为变化）。
- 客群结构变化： 新客、老客、不同渠道进件的客群质量波动，导致模型区分度下降。
- 业务策略调整： 审批政策、额度策略、催收策略的变更会反向影响模型表现。
- 合规与审计要求： 监管机构（如银保监会）要求金融机构定期评估模型有效性，并保留监控记录。
- 模型退化风险： 模型权重、逻辑或底层数据源出现未知错误，需及时发现并告警。
1.2 模型监控的生命周期
模型监控并非一次性动作，而是贯穿模型从开发到退出的全流程。以下生命周期阶段定义了监控的关键节点：
| 阶段 | 关键活动 | 监控重点 |
|---|---|---|
| 开发验证 | 模型训练、交叉验证、样本外测试 | KS/AUC、PSI基准值、变量稳定性 |
| 上线前 | 模型部署、冠军/挑战者配置、基准线设定 | 评分分布对齐、拒绝推断验证 |
| 上线初期 | 试运行、灰度监控、性能基线校准 | 日/周级PSI、空值率、异常值检测 |
| 持续运行 | 定期报告、阈值告警、人工复核 | 月度稳定性、区分度、排序一致性 |
| 模型退出 | 性能严重衰退、新模型替代 | 衰退趋势确认、切换计划执行 |
实践建议： 建议在模型上线前即建立监控基线（Baseline），包括评分分布、变量均值、缺失率等指标。后续监控均以此基线为参照，避免因“上线后数据已漂移”而误判模型状态。
1.3 监控体系的核心要素
一个完整的信用评分模型监控体系，通常包含以下四大核心要素：
- 稳定性监控： 衡量模型评分分布及关键特征分布随时间的变化程度。常用指标：PSI（群体稳定性指标）、CSI（特征稳定性指标）。
- 区分度监控： 评估模型对“好/坏”客户的排序能力是否保持。常用指标：KS（Kolmogorov-Smirnov）、AUC（ROC曲线下面积）、Gini系数。
- 校准度监控： 检查模型预测概率与实际违约率之间的一致性。常用指标：校准曲线（Calibration Curve）、Hosmer-Lemeshow检验。
- 数据质量监控： 监控输入数据的完整性、准确性、时效性。常用指标：缺失率、异常值比例、空值率、数据延迟时间。
1.4 监控体系的关键指标速查
以下表格汇总了信用评分模型监控中最常用的指标及其阈值参考：
| 指标类别 | 指标名称 | 计算公式/说明 | 常见阈值 |
|---|---|---|---|
| 稳定性 | PSI | ∑(实际占比 - 预期占比) × ln(实际占比/预期占比) | < 0.1 稳定；0.1~0.25 需关注；> 0.25 告警 |
| 区分度 | KS | 好/坏客户累计分布最大差值 | > 0.3 良好；0.2~0.3 可接受；< 0.2 需优化 |
| 区分度 | AUC | ROC曲线下面积 | > 0.75 良好；0.7~0.75 可接受；< 0.7 需关注 |
| 校准度 | 校准偏差 | 预测违约率 - 实际违约率 | 偏差 < 2% 可接受；> 5% 告警 |
| 数据质量 | 缺失率 | 缺失样本数 / 总样本数 | < 5% 正常；5%~10% 需排查；> 10% 告警 |
⚠️ 常见误区： 许多团队只关注PSI而忽略区分度监控。实际上，PSI正常但KS大幅下降的情况并不少见（例如模型排序能力丧失但分布未变）。务必同时监控稳定性和区分度，避免“假性健康”。
1.5 监控体系的实施流程
建立模型监控体系通常遵循以下步骤：
- 确定监控对象： 明确需要监控的模型列表（包括冠军模型、挑战者模型、备用模型）。
- 设定监控指标与阈值： 根据业务风险偏好，为每个指标设定绿/黄/红三级阈值。
- 搭建监控数据管道： 自动化采集线上评分、特征数据、标签数据，确保数据时效性。
- 配置告警规则： 设定告警触发条件（如PSI连续3天超过0.25），并指定通知方式（邮件、企业微信、短信）。
- 生成监控报告： 按日/周/月生成可视化报告，包含趋势图、分布对比、异常清单。
- 问题响应与复盘： 告警触发后，启动问题定位流程，输出根因分析报告，并决定是否触发模型迭代。
最佳实践： 建议在模型上线前即完成监控看板（Dashboard）的搭建，并设置“静默期”（如上线后前2周仅记录不告警），避免因初期数据波动导致误报。静默期结束后，正式启用告警规则。