4. Champion模型基线建立
Champion模型基线是信用评分卡对照实验的“零点”。在启动任何候选模型开发之前,必须从当前生产环境中筛选出表现最优的评分卡,并完整记录其关键性能指标。这条基线将成为后续所有挑战者模型(Challenger)的对比锚点,确保实验结论可量化、可复现。
4.1 基线选择原则
选择生产环境中的最优评分卡并非简单取用最新版本,而应遵循以下三条原则:
- 稳定性优先:优先选择近6个月内PSI(群体稳定性指标)低于0.10的评分卡,避免因客群漂移导致基线失真。
- 区分度达标:KS(Kolmogorov-Smirnov)值不低于0.30,AUC(Area Under Curve)不低于0.75,确保基线具备足够的风险排序能力。
- 业务可解释:评分卡变量逻辑清晰,拒绝原因码可追溯,便于后续对照分析。
实践建议:如果生产环境中同时运行多张评分卡(如申请评分卡、行为评分卡、催收评分卡),应分别为每类场景建立独立的Champion基线,不可混用。
4.2 关键指标定义与记录规范
基线建立的核心工作是记录以下三项指标。所有指标均需基于最近3个月的验证样本计算,并注明样本时间窗口。
| 指标 | 全称 | 含义 | 合格阈值 | 记录频率 |
|---|---|---|---|---|
| KS | Kolmogorov-Smirnov | 好坏样本累计分布的最大差异,衡量模型区分度 | ≥ 0.30 | 月度 |
| AUC | Area Under Curve | ROC曲线下面积,综合评估排序能力 | ≥ 0.75 | 月度 |
| PSI | Population Stability Index | 评分分布相对于开发样本的偏移程度 | < 0.10 | 月度 |
基线记录模板(示例):
Champion评分卡名称:APP_SCORE_V3.2
样本时间窗口:2024-07-01 ~ 2024-09-30
样本量:Good=45,000 / Bad=3,200
KS = 0.372 | AUC = 0.814 | PSI = 0.058
Champion评分卡名称:APP_SCORE_V3.2
样本时间窗口:2024-07-01 ~ 2024-09-30
样本量:Good=45,000 / Bad=3,200
KS = 0.372 | AUC = 0.814 | PSI = 0.058
4.3 Champion基线建立流程
以下流程图展示了从生产环境筛选到基线冻结的完整步骤:
4.4 基线记录表(完整示例)
以下为一份完整的Champion基线记录表示例,供团队统一存档:
| 字段 | 内容 |
|---|---|
| 评分卡名称 | APP_SCORE_V3.2 |
| 场景类型 | 申请评分卡(A卡) |
| 开发样本时间 | 2023-10 ~ 2024-03 |
| 验证样本时间 | 2024-07 ~ 2024-09 |
| 验证样本量 | Good=45,000 / Bad=3,200 |
| KS | 0.372 |
| AUC | 0.814 |
| PSI | 0.058 |
| 变量数量 | 12 |
| 拒绝率 | 15.3% |
| 冻结日期 | 2024-10-08 |
| 负责人 | 张三(风控建模组) |
4.5 基线冻结后的注意事项
⚠ 重要提醒:基线一旦冻结,在对照实验周期内不得随意修改。若生产环境因紧急原因必须更新评分卡,需重新执行基线建立流程,并废弃旧基线。所有挑战者模型必须与最新冻结的基线进行对比。
基线记录文件建议以JSON格式存储于版本控制系统中,便于自动化读取与比对:
{
"champion_name": "APP_SCORE_V3.2",
"freeze_date": "2024-10-08",
"metrics": {
"ks": 0.372,
"auc": 0.814,
"psi": 0.058
},
"sample_window": {
"start": "2024-07-01",
"end": "2024-09-30"
},
"sample_size": {
"good": 45000,
"bad": 3200
},
"owner": "张三"
}
完成基线建立后,即可进入第5章——挑战者模型开发与对照实验设计。