2. 信贷模型监控基础
在信贷业务中,模型上线只是生命周期的起点。无论是申请评分卡、行为评分卡还是催收评分卡,其预测能力都会随着客群迁移、政策调整、宏观经济波动而衰减。模型监控的本质,是建立一套持续观测机制,让模型风险在造成实质损失之前被识别、被量化、被处置。本章从监管要求出发,梳理监控的必要性,并系统讲解PSI、KS、AUC、Gini等核心指标与术语,为后续看板搭建与分层告警打下基础。
一、监管要求:模型风险管理不是可选项
国内外监管框架对模型风险管理提出了明确要求。巴塞尔协议体系强调内部评级模型的持续验证,要求银行定期评估模型的区分能力、稳定性与校准精度。美联储SR 11-7《模型风险管理指引》将模型风险定义为“模型输出错误或误用导致的不利后果”,并要求建立三道防线:模型开发、独立验证、内部审计。国内方面,《商业银行模型风险管理指引》以及银保监会关于信用风险管理的相关办法,均要求对信用评分模型进行持续监控,监控频率应与模型复杂度和业务影响相匹配。
监管要求可归纳为四个关键词:持续性、独立性、可追溯、可处置。持续性指监控不是一次性验证,而是贯穿模型全生命周期;独立性指监控与验证应由独立于开发团队的岗位执行;可追溯指监控数据、指标、结论需留痕;可处置指发现异常后必须有明确的升级、重训或下线流程。这些要求直接决定了监控看板需要记录什么、告警如何分层、处置如何闭环。
二、监控的必要性:模型为什么会“坏掉”
模型衰减通常来自三类原因。第一类是数据漂移:入模变量的分布随时间变化,例如收入字段整体上移、某地区申请量骤增。第二类是概念漂移:变量与目标之间的关系发生变化,例如经济下行期“多头借贷次数”对违约的指示性增强。第三类是业务策略变化:准入规则、额度策略、催收策略调整后,模型面对的客群与训练时不再一致。
这三类原因最终表现为两种可观测现象:稳定性下降与区分能力下降。稳定性下降意味着分数分布或变量分布发生偏移;区分能力下降意味着模型不再能有效区分好坏客户。监控的核心任务,就是分别对这两类现象建立量化指标,并设定阈值触发告警。
一个典型场景:某消费金融公司申请评分卡上线6个月后,KS从0.42降至0.31,但业务指标尚未明显恶化。若没有监控,团队可能继续使用该模型直至坏账上升。监控看板在KS连续两周低于阈值时触发告警,团队提前介入,发现某渠道进件质量突变,及时调整策略,避免了后续损失。这就是监控的“提前量”价值。
三、核心监控指标与术语
信贷模型监控指标可分为稳定性指标与区分能力指标两大类。稳定性指标关注“分布是否变了”,区分能力指标关注“排序是否还准”。以下逐一说明。
1. PSI(Population Stability Index,群体稳定性指数)
PSI用于衡量两个时间点之间分数分布或变量分布的差异。计算方式:将预期分布与实际分布按分箱统计占比,代入公式求和。
PSI = Σ (Actual% - Expected%) × ln(Actual% / Expected%)
经验阈值:
PSI < 0.1 分布稳定,无需动作
0.1 ≤ PSI < 0.25 轻微偏移,需关注
PSI ≥ 0.25 显著偏移,触发告警与排查
PSI的优点是直观、易解释,缺点是依赖分箱方式,且对样本量敏感。实际监控中通常同时计算分数PSI和关键变量PSI,前者反映整体偏移,后者定位偏移来源。
2. KS(Kolmogorov-Smirnov)
KS衡量模型将好客户与坏客户区分开的最大累计差异,取值0到1,越大越好。信贷评分卡中KS通常在0.3到0.5之间。KS下降是区分能力衰减的直接信号。监控时需注意:KS对样本量敏感,小样本下波动大,应结合置信区间判断。
3. AUC与Gini
AUC是ROC曲线下面积,衡量模型随机抽取一个好客户和一个坏客户时,好客户得分高于坏客户的概率。Gini = 2 × AUC - 1,是AUC的线性变换,在信贷领域常与KS并列使用。AUC对整体排序敏感,KS对局部最大差异敏感,两者结合能更全面判断模型表现。
| 指标 | 衡量对象 | 典型阈值/范围 | 监控关注点 |
|---|---|---|---|
| PSI | 分布稳定性 | <0.1稳定;≥0.25告警 | 分数PSI与变量PSI结合定位 |
| KS | 区分能力(最大差异) | 0.3~0.5较优 | 连续下降需排查客群或策略变化 |
| AUC | 整体排序能力 | 0.7~0.85较优 | 与KS同向变化时可信度高 |
| Gini | 整体排序能力(归一化) | 0.4~0.7较优 | 与AUC等价,便于跨模型比较 |
4. 其他常用术语
- Lift:某分数段坏账率与整体坏账率的比值,用于评估排序的业务增益。
- 校准(Calibration):预测违约概率与实际违约率的吻合程度,常用校准曲线或二项检验评估。
- Vintage:按放款月份追踪同批客群的违约表现,用于识别账龄效应与客群质量变化。
- Swap Set:新旧模型评分排序发生变化的客群集合,用于评估模型切换影响。
四、误区与复盘:监控指标不是越多越好
实践中常见三个误区。第一,只看KS不看PSI:KS未下降不代表模型安全,分布已偏移但排序暂时未变,后续可能突然恶化。第二,阈值一刀切:不同产品、不同客群的PSI波动基线不同,统一阈值会导致误报或漏报。第三,监控与处置脱节:看板只展示指标,没有告警分级和处置流程,监控沦为“报表工程”。
复盘一个真实案例:某银行行为评分卡监控中,分数PSI连续三个月在0.12到0.18之间,未触发0.25的告警线,但变量PSI中“近6个月查询次数”达到0.31。团队未及时排查,两个月后KS从0.38降至0.24,坏账率上升。事后分析发现,该变量偏移源于外部征信数据源口径调整。若当时采用“分数PSI+变量PSI”双轨监控,并设置变量级告警,可提前两个月发现风险。
综上,信贷模型监控的基础在于理解监管要求、明确监控必要性、掌握核心指标的含义与阈值逻辑。PSI回答“分布是否变了”,KS、AUC、Gini回答“排序是否还准”,Vintage与Lift回答“业务影响如何”。只有把这些指标组织成分层监控体系,才能支撑后续看板设计与分层告警的落地。