2. 模型监控体系总览
信用评分模型上线后并非“一劳永逸”。客群结构变化、宏观经济波动、业务策略调整等因素都会导致模型性能衰减。建立系统化的监控体系，是确保模型长期稳定、区分有效、排序可靠的核心手段。
2.1 模型监控的目的
模型监控不是简单的“看指标”，而是围绕以下三个核心目的展开：
- 早期预警：在模型失效前发现漂移信号，避免大规模误判。
- 归因定位：区分是客群变化、数据质量问题还是模型本身老化。
- 决策支持：为模型迭代、阈值调整、版本退役提供量化依据。
关键认知： 监控体系应覆盖“模型输出 → 特征输入 → 业务表现”三个层面，形成闭环反馈。
2.2 监控指标体系
监控指标分为三大类：稳定性、区分度、排序性。三者缺一不可，共同构成模型健康度的全景视图。
| 指标类别 | 核心指标 | 监控对象 | 典型阈值 |
|---|---|---|---|
| 稳定性 | PSI（群体稳定性指标） | 评分分布、特征分布 | PSI < 0.1 良好；0.1~0.25 需关注；> 0.25 告警 |
| 区分度 | KS、AUC、Gini | 模型预测值与实际违约 | KS > 0.3 可接受；AUC > 0.7 可接受 |
| 排序性 | Spearman相关系数、Rank Ordering | 评分排序与风险等级 | 相关系数 > 0.8 稳定 |
实践建议： 稳定性指标（PSI）应作为“第一道防线”，优先监控；区分度指标（KS/AUC）作为“性能底线”，按月评估；排序性指标用于验证模型对高风险客群的识别顺序是否合理。
2.3 监控频率与触发机制
不同指标的监控频率应根据数据更新周期和业务敏感度差异化设置：
- 高频监控（每日/每周）：评分分布PSI、特征缺失率、特征均值漂移。适用于自动化报表，一旦触发阈值立即告警。
- 中频监控（每月）：KS、AUC、Gini系数。结合月度贷后表现标签，评估模型区分能力。
- 低频监控（每季度）：排序性指标、分档坏账率对比。用于模型版本评审和策略调整。
触发机制采用“黄灯-红灯”两级告警策略：
| 告警级别 | 触发条件 | 响应动作 |
|---|---|---|
| 黄灯（关注） | PSI > 0.1 且 < 0.25；KS 下降 > 10% | 发送通知，启动归因分析，排查特征或客群变化 |
| 红灯（告警） | PSI > 0.25；KS 下降 > 20% 或 < 0.25 | 立即告警，暂停模型自动决策，启动模型迭代或回退 |
避坑提醒： 不要只监控PSI而忽略区分度。有时评分分布稳定（PSI低），但模型对好坏客户的排序能力已严重下降（KS暴跌），这种情况在客群“同质化”时尤为常见。
2.4 监控体系架构总览
下图展示了从数据输入到告警响应的完整监控链路：
2.5 监控体系落地清单
在实际项目中，建议按以下清单搭建监控看板：
- 确定基准期：通常取模型开发时的验证集或上线后首月数据。
- 配置计算脚本：自动化计算每日PSI、每周KS、每月AUC。
- 设定阈值：根据业务容忍度调整黄灯/红灯阈值。
- 搭建告警通道：邮件、企业微信、短信等多渠道通知。
- 建立响应SOP：明确告警后由谁分析、何时升级、如何决策。
核心结论： 一个完整的监控体系 = 稳定性指标（PSI）做“哨兵” + 区分度指标（KS/AUC）做“体检” + 排序性指标做“校准” + 分级告警机制做“响应”。四者协同，才能让模型在复杂业务环境中持续可靠运行。