2. 模型监控体系总览：监控的目标、监控体系架构图、监控的三大支柱
信用评分模型上线后并非“一劳永逸”。客群行为、宏观经济、数据采集方式的变化都会导致模型性能衰减。一套完整的监控体系需要回答三个核心问题：为什么要监控？监控什么？怎么落地？本章从目标、架构、支柱三个层面构建总览框架。
2.1 监控的三大目标
模型监控不是简单的“看指标”，而是服务于业务决策与风险管理的闭环。核心目标可归纳为：
| 目标维度 | 关键问题 | 典型输出 |
|---|---|---|
| 性能衰减预警 | 模型区分度（KS/AUC）是否下降？排序能力是否失效？ | 月度性能看板、衰减阈值告警 |
| 数据质量保障 | 入模特征缺失率、分布偏移是否超限？数据源是否稳定？ | 特征稳定性报告（PSI）、缺失率监控 |
| 业务一致性验证 | 评分分布是否与审批策略匹配？通过率、坏账率是否异常？ | 评分分布对比图、策略回测报告 |
实践要点：三个目标需按“日-周-月”频率分层落地。日频关注数据质量，周频关注模型性能，月频关注业务一致性。避免“只盯KS，忽略数据源断裂”的常见误区。
2.2 监控体系架构图
下图展示了信用评分模型监控体系的整体架构，从数据接入到决策反馈形成完整闭环：
架构解读：数据源层完成原始数据采集；特征与模型层执行评分计算；监控核心层以三大支柱并行监测；告警与决策层触发响应动作。右侧虚线箭头表示“监控结果反馈至模型迭代”，形成持续优化闭环。
2.3 监控的三大支柱
三大支柱分别对应“输入-计算-输出”三个环节，缺一不可。以下逐一展开：
2.3.1 数据监控（输入层）
数据是模型运行的燃料。数据监控关注：
- 完整性：入模特征缺失率是否超过训练集基线（如>5%触发告警）。
- 稳定性：特征分布偏移（PSI>0.1需关注，>0.25需干预）。
- 时效性：数据延迟是否影响评分时效（如T+1数据T+3才到位）。
- 一致性：线上数据口径与训练集是否一致（如“月收入”字段单位差异）。
2.3.2 模型监控（计算层）
模型监控直接评估评分卡或机器学习模型的预测能力：
| 指标 | 计算方式 | 典型阈值 | 监控频率 |
|---|---|---|---|
| KS | 好坏样本累计分布最大差值 | 下降>20%告警 | 周/月 |
| AUROC | ROC曲线下面积 | 下降>0.05告警 | 月 |
| PSI（模型分） | 评分分布群体稳定性指数 | >0.1关注，>0.25告警 | 周 |
| Lift/Gini | 排序能力相对变化 | 下降>15%告警 | 月 |
2.3.3 业务监控（输出层）
业务监控将模型输出与业务结果关联，回答“模型表现是否符合业务预期”：
- 通过率：各评分区间审批通过率是否突变（如高分段通过率骤降）。
- 坏账率：各评分区间实际逾期率是否偏离预期（如低分段坏账率低于预期，可能模型失效）。
- 拒绝推断验证：被拒绝客群的实际表现是否与模型假设一致。
- 策略联动：评分阈值调整后，通过率与坏账率的trade-off是否合理。
常见陷阱：只做模型监控（KS/AUC）而忽略数据监控。实际案例中，某消费金融公司模型KS保持稳定，但坏账率飙升，最终定位为“收入字段”数据源断裂导致评分失真。三大支柱必须联动，缺一不可。
2.4 三大支柱的协同关系
三大支柱并非独立运行，而是形成“数据→模型→业务”的因果链。下图展示其协同逻辑：
协同要点：当业务监控发现“高分段坏账率上升”时，不应直接调整策略，而应回溯模型监控（KS是否下降）和数据监控（特征是否偏移）。只有定位根因，才能做出有效决策——可能是模型衰减需要迭代，也可能是数据源断裂需要修复。
2.5 监控体系落地清单
以下清单可作为搭建监控体系的快速参考：
| 支柱 | 监控项 | 频率 | 告警方式 | 负责人 |
|---|---|---|---|---|
| 数据 | 特征缺失率、PSI、数据延迟 | 日/周 | 邮件+企微 | 数据工程师 |
| 模型 | KS、AUROC、模型分PSI | 周/月 | 看板+短信 | 风控模型师 |
| 业务 | 通过率、坏账率、评分分布 | 周/月 | 看板+会议 | 风控策略师 |
起步建议：如果资源有限，优先搭建“模型监控+数据监控”双支柱，业务监控可先通过人工报表实现。待体系成熟后，再通过自动化平台将三大支柱整合为统一监控看板。