3. 模型训练与评估：数据划分、性能指标与稳定性监控

信用评分模型从开发到上线，必须经过严格的数据划分、多维度性能评估以及持续的稳定性监控。本章围绕这三个核心环节，讲解训练集/验证集/测试集的划分策略、KS/AUC/混淆矩阵等评估指标的计算与解读，以及PSI（群体稳定性指标）的监控方法。

3.1 训练集/验证集/测试集划分

在信用评分建模中，数据划分不仅影响模型训练效果，更直接决定模型泛化能力的可信度。标准做法是将原始样本按时间顺序或随机方式拆分为三个独立子集：

数据集 用途 常见占比 关键要求
训练集 模型参数学习、特征权重拟合 60% – 70% 样本量充足，覆盖多数业务场景
验证集 超参数调优、模型选择、防止过拟合 15% – 20% 与训练集分布一致，不参与训练
测试集 最终模型泛化能力评估 15% – 20% 完全独立，仅在最终评估时使用一次
时间序列划分建议：对于信贷数据，推荐按时间顺序划分——用早期数据训练，中期数据验证，近期数据测试。这能更真实地模拟模型上线后的表现。

下图展示了三种常见的数据划分策略：

数据划分策略对比 数据划分策略对比 策略一：随机划分 适用于样本量充足、时间效应弱的场景。随机打乱后按比例拆分，保证各集分布相似。 策略二：时间顺序划分（推荐） 按时间戳排序：前60%训练 → 中间20%验证 → 最后20%测试。模拟真实上线环境。 策略三：分层随机划分 按目标变量（好坏样本）比例分层抽样，确保各子集中坏账率与总体一致。

3.2 模型评估指标：KS、AUC与混淆矩阵

信用评分模型的区分能力、排序能力和分类准确性需要通过多个指标综合衡量。以下是三个最核心的评估工具：

3.2.1 混淆矩阵

混淆矩阵是二分类问题的基础评估工具，通过对比预测结果与真实标签，计算以下四个核心值：

预测为正（好客户） 预测为负（坏客户）
实际为正（好客户） TP（真正例） FN（假负例）
实际为负（坏客户） FP（假正例） TN（真负例）

基于混淆矩阵可衍生出多个关键指标：

  • 准确率（Accuracy）：(TP + TN) / (TP + FN + FP + TN)
  • 精确率（Precision）：TP / (TP + FP) —— 预测为好客户中实际好客户的比例
  • 召回率（Recall / TPR）：TP / (TP + FN) —— 实际好客户中被正确识别的比例
  • 特异度（Specificity / TNR）：TN / (TN + FP) —— 实际坏客户中被正确识别的比例

3.2.2 KS统计量

KS（Kolmogorov-Smirnov）统计量衡量模型区分好坏客户的最大能力。其计算方式为：

KS = max( |累积好客户占比 - 累积坏客户占比| )

KS值越高，说明模型对好坏客户的排序区分能力越强。信用评分行业通常要求KS > 0.3：

KS范围 模型区分能力 业务建议
< 0.2 弱 模型基本不可用，需重新特征工程
0.2 – 0.3 中等 可接受，但需谨慎使用
0.3 – 0.5 强 良好，适合上线
> 0.5 极强 需警惕过拟合，验证集表现是否一致

3.2.3 AUC（ROC曲线下面积）

AUC衡量模型在所有可能阈值下的平均区分能力。AUC = 0.5表示随机猜测，AUC = 1表示完美区分。信用评分模型通常要求AUC > 0.75。

下图展示了KS与AUC在ROC曲线上的几何关系：

ROC曲线与KS统计量 ROC曲线与KS统计量 1 - 特异度（FPR） 真正率（TPR） 随机线（AUC=0.5） ROC曲线 KS = max(TPR - FPR) AUC = 曲线下方面积 KS = 最大垂直距离
评估指标选择建议：
  • KS 适合衡量模型在某个最优阈值下的最大区分能力，常用于评分卡开发阶段。
  • AUC 反映模型的整体排序能力，不受阈值选择影响，适合模型对比。
  • 混淆矩阵 结合业务成本（如坏账损失 vs 机会成本）确定最终阈值。

3.3 模型稳定性监控：PSI

模型上线后，评分分布可能随时间发生偏移，导致模型失效。PSI（Population Stability Index）用于量化评分分布的变化程度：

PSI = Σ (实际占比_i - 预期占比_i) × ln(实际占比_i / 预期占比_i)

其中，预期占比通常来自建模样本（开发集），实际占比来自当前监控样本。PSI的计算步骤：

  1. 将评分按等频或等宽分为10–20个区间（通常10组）。
  2. 计算每个区间在开发集和监控集中的样本占比。
  3. 代入公式计算PSI值。
PSI范围 稳定性判断 建议措施
< 0.1 稳定 无需干预，继续监控
0.1 – 0.25 轻度偏移 检查特征分布变化，准备模型更新
> 0.25 严重偏移 立即停用模型，重新训练或校准

下图展示了PSI监控的完整流程：

PSI监控流程 PSI监控流程 开发集评分分布 等频分箱（10组） 计算各区间占比 PSI = Σ(实际-预期)×ln(实际/预期) 监控集 vs 开发集 PSI > 0.25? 触发告警 → 模型更新
PSI监控注意事项：
  • PSI对分箱数量敏感，建议固定使用10组等频分箱，便于跨时间对比。
  • 如果PSI持续上升但未超过0.25，应提前排查特征漂移原因，而非等到阈值触发。
  • PSI仅反映评分分布变化，不直接说明模型失效原因，需结合特征PSI和业务分析。

3.4 综合评估流程

完整的模型评估与监控流程应包含以下步骤：

  1. 离线评估：在测试集上计算KS、AUC、混淆矩阵，确认模型达到业务标准。
  2. 阈值确定：根据混淆矩阵和业务成本（如坏账率、通过率）选择最优评分阈值。
  3. 上线前基线：记录开发集评分分布，作为PSI计算的预期分布。
  4. 持续监控：按日/周/月计算PSI，监控评分分布和关键指标变化。
  5. 模型更新：当PSI超过0.25或KS/AUC显著下降时，启动模型重训流程。

通过以上系统化的评估与监控体系，信用评分模型才能在生产环境中保持稳定、可靠的性能。

← 上一章 📖 返回目录 下一章 →