4. Champion模型基线建立

Champion模型基线是信用评分卡对照实验的“零点”。在启动任何候选模型开发之前,必须从当前生产环境中筛选出表现最优的评分卡,并完整记录其关键性能指标。这条基线将成为后续所有挑战者模型(Challenger)的对比锚点,确保实验结论可量化、可复现。

4.1 基线选择原则

选择生产环境中的最优评分卡并非简单取用最新版本,而应遵循以下三条原则:

  • 稳定性优先:优先选择近6个月内PSI(群体稳定性指标)低于0.10的评分卡,避免因客群漂移导致基线失真。
  • 区分度达标:KS(Kolmogorov-Smirnov)值不低于0.30,AUC(Area Under Curve)不低于0.75,确保基线具备足够的风险排序能力。
  • 业务可解释:评分卡变量逻辑清晰,拒绝原因码可追溯,便于后续对照分析。
实践建议:如果生产环境中同时运行多张评分卡(如申请评分卡、行为评分卡、催收评分卡),应分别为每类场景建立独立的Champion基线,不可混用。

4.2 关键指标定义与记录规范

基线建立的核心工作是记录以下三项指标。所有指标均需基于最近3个月的验证样本计算,并注明样本时间窗口。

指标 全称 含义 合格阈值 记录频率
KS Kolmogorov-Smirnov 好坏样本累计分布的最大差异,衡量模型区分度 ≥ 0.30 月度
AUC Area Under Curve ROC曲线下面积,综合评估排序能力 ≥ 0.75 月度
PSI Population Stability Index 评分分布相对于开发样本的偏移程度 < 0.10 月度
基线记录模板(示例):
Champion评分卡名称:APP_SCORE_V3.2
样本时间窗口:2024-07-01 ~ 2024-09-30
样本量:Good=45,000 / Bad=3,200
KS = 0.372  |  AUC = 0.814  |  PSI = 0.058

4.3 Champion基线建立流程

以下流程图展示了从生产环境筛选到基线冻结的完整步骤:

Champion基线建立流程 1. 盘点生产评分卡 2. 提取近3个月样本 3. 计算KS/AUC/PSI 4. 筛选最优评分卡 5. 稳定性校验(PSI) 6. 区分度校验(KS/AUC) 7. 冻结基线版本 8. 归档指标快照 说明:基线冻结后,所有挑战者模型必须与同一基线对比。若生产环境评分卡发生版本升级,需重新建立基线。

4.4 基线记录表(完整示例)

以下为一份完整的Champion基线记录表示例,供团队统一存档:

字段 内容
评分卡名称 APP_SCORE_V3.2
场景类型 申请评分卡(A卡)
开发样本时间 2023-10 ~ 2024-03
验证样本时间 2024-07 ~ 2024-09
验证样本量 Good=45,000 / Bad=3,200
KS 0.372
AUC 0.814
PSI 0.058
变量数量 12
拒绝率 15.3%
冻结日期 2024-10-08
负责人 张三(风控建模组)

4.5 基线冻结后的注意事项

⚠ 重要提醒:基线一旦冻结,在对照实验周期内不得随意修改。若生产环境因紧急原因必须更新评分卡,需重新执行基线建立流程,并废弃旧基线。所有挑战者模型必须与最新冻结的基线进行对比。

基线记录文件建议以JSON格式存储于版本控制系统中,便于自动化读取与比对:

{
  "champion_name": "APP_SCORE_V3.2",
  "freeze_date": "2024-10-08",
  "metrics": {
    "ks": 0.372,
    "auc": 0.814,
    "psi": 0.058
  },
  "sample_window": {
    "start": "2024-07-01",
    "end": "2024-09-30"
  },
  "sample_size": {
    "good": 45000,
    "bad": 3200
  },
  "owner": "张三"
}

完成基线建立后,即可进入第5章——挑战者模型开发与对照实验设计。