1. 课程导入
信贷模型不是一次性交付的软件,而是一套持续暴露在真实业务环境中的决策系统。模型上线那一刻,训练数据的分布、客群结构、宏观环境、渠道策略都只是当时的快照。随着时间推移,申请人群变化、欺诈手法演化、授信政策调整、外部经济波动,都会让模型从“当时最优”逐渐滑向“当前次优”。本课程要解决的核心问题不是如何训练一个模型,而是如何判断模型是否还稳定、何时需要重训、以及如何把重训触发做成可落地、可审计、可复盘的工程机制。
学习目标
完成本课程后,学员应能达成以下四类目标:
- 认知层:理解模型稳定性的本质是“模型输入分布、输出分布与业务效果三者随时间的一致性”,而非单一指标不下降。
- 方法层:掌握PSI、KS漂移、评分分布迁移、特征贡献变化、坏账率回溯等监控手段的适用边界与组合方式。
- 工程层:能够设计监控指标采集、阈值告警、重训触发、模型回滚与灰度发布的完整链路。
- 决策层:能够在业务成本、风险敞口、合规要求和模型迭代频率之间做出可解释的触发决策。
核心概念:稳定性、漂移与触发
在信贷风控语境中,模型稳定性指模型在时间维度上保持其区分能力和校准能力的能力。它包含三个层面:数据稳定性(输入特征分布是否偏移)、模型稳定性(评分分布和排序能力是否变化)、业务稳定性(通过率、坏账率、回收率等是否偏离预期)。
漂移是稳定性的反面。常见漂移包括:
- 特征漂移:某个入模特征的人群分布发生变化,例如收入字段缺失率从5%升至20%。
- 标签漂移:违约定义或表现期口径变化,导致标签分布改变。
- 概念漂移:特征与违约之间的真实关系发生变化,例如某类客群在经济下行期风险显著上升。
- 评分漂移:模型输出分数整体偏移,导致通过率或额度分布异常。
重训触发不是“指标一报警就重训”,而是基于监控证据、业务影响和成本收益判断后,决定是否启动数据刷新、模型再训练、规则补偿或回滚。触发机制的核心是可解释、可追溯、可分级。
关键判断:稳定性监控的目标不是消灭漂移,而是识别“有害漂移”并控制其业务后果。轻微漂移是常态,剧烈漂移才需要干预。
整体框架:从监控到触发的闭环
本课程将围绕一个五层闭环展开,后续章节会逐层深入:
- 数据层:采集申请、行为、还款、外部征信等数据,建立特征与标签的时间切片。
- 监控层:计算PSI、KS、AUC、评分均值/方差、特征缺失率、拒绝推断偏差等指标。
- 告警层:设定静态阈值与动态基线,区分提示、警告、严重三级。
- 决策层:结合业务影响评估,决定观察、补偿、重训、回滚或人工介入。
- 执行层:完成重训、验证、审批、灰度、全量与归档,并记录触发原因和效果。
为了更直观地理解监控指标与触发动作之间的对应关系,下表给出一个简化但实用的分级清单:
| 监控指标 | 典型阈值示例 | 业务含义 | 建议动作 |
|---|---|---|---|
| 评分PSI | <0.1 稳定;0.1~0.25 关注;>0.25 严重 | 评分分布迁移程度 | 关注级:加密监控;严重级:启动重训评估 |
| KS下降幅度 | 较基线下降>15% | 区分能力衰减 | 排查特征与客群,准备重训 |
| 特征缺失率 | 较基线上升>10个百分点 | 数据采集或渠道异常 | 先修数据链路,再评估模型 |
| 通过率偏移 | 偏离预算>20% | 策略或模型输出异常 | 检查评分分布与阈值 |
| 坏账率回溯 | 连续两期超预期上限 | 风险成本上升 | 紧急重训或收紧策略 |
案例场景:一次典型的触发决策
假设某现金贷模型上线6个月,第5个月监控发现评分PSI从0.08升至0.31,KS从0.42降至0.33,同时新客占比从35%升至58%。业务侧通过率未明显变化,但早期逾期率上升了0.8个百分点。此时不应直接全量重训,而应按以下顺序处理:
1. 确认数据质量:检查新客渠道字段缺失率、外部数据返回率是否异常。
2. 拆分客群:分别计算新客与老客的PSI和KS,判断漂移是否集中在特定群体。
3. 评估业务影响:测算当前模型若维持不变,未来3个月预期坏账增加额。
4. 制定候选动作:
- 动作A:对新客群体单独重训子模型;
- 动作B:调整评分卡阈值,临时收紧通过率;
- 动作C:全量重训并灰度发布。
5. 选择动作并记录触发原因、预期效果和回滚条件。
这个案例说明,重训触发是一个诊断—评估—决策—执行的过程,而不是单一阈值判断。后续章节会提供具体的PSI计算、KS监控、触发规则配置和重训流水线代码。
实战建议:在项目初期就建立“监控指标字典”,明确每个指标的口径、计算频率、责任人和告警级别。否则后期会出现同一指标多个版本、告警无人处理、重训原因无法追溯的问题。
常见误区与复盘
在信贷模型稳定性管理中,以下误区非常普遍:
- 误区一:只看KS,不看校准。KS高但评分校准偏移,会导致通过率和额度策略失真。
- 误区二:PSI报警就立即重训。PSI对样本量和分箱敏感,需结合业务影响判断。
- 误区三:重训后不监控。重训模型同样会漂移,且可能因数据穿越或样本偏差引入新问题。
- 误区四:忽略标签延迟。信贷标签有表现期,监控指标必须区分“已成熟”和“未成熟”样本。
- 误区五:没有回滚方案。重训模型上线后若效果不及预期,必须能快速回滚到上一版本。
合规提醒:重训触发记录、监控指标、审批流程和模型版本都属于模型风险管理的重要组成部分。在监管检查中,无法解释“为什么重训”或“为什么没有重训”同样可能构成问题。