3. 模型训练与验证：数据集划分、模型训练、KS/AUC评估、过拟合判断
模型训练与验证是信用评分卡开发的核心环节。本章将系统讲解从数据准备到模型评估的完整流程，重点解决“如何训练一个稳定、可解释且区分能力强的评分模型”这一关键问题。
3.1 数据集划分策略
在建模前，必须将原始样本划分为训练集、验证集和测试集。合理的划分能有效避免信息泄露，并为后续的过拟合判断提供基准。
| 数据集 | 用途 | 常见比例 | 关键要求 |
|---|---|---|---|
| 训练集 | 模型参数学习、特征权重拟合 | 60% – 70% | 样本量充足，坏账率与总体一致 |
| 验证集 | 超参数调优、模型选择、早停判断 | 15% – 20% | 不参与训练，用于调整模型复杂度 |
| 测试集 | 最终模型泛化能力评估 | 15% – 20% | 全程隔离，仅在最终评估时使用一次 |
实践要点：信用评分模型通常采用分层抽样（Stratified Sampling）划分数据集，确保训练集和测试集中“好客户/坏客户”的比例与原始样本保持一致，避免因随机划分导致的样本分布偏移。
3.2 模型训练流程
信用评分模型以逻辑回归（Logistic Regression）为行业基准算法，因其具有强可解释性和成熟的评分卡转换方法。训练过程遵循以下步骤：
- 特征筛选：基于IV值、相关性矩阵和业务经验，剔除低预测力、高冗余的特征。
- WOE编码：将原始特征转换为证据权重（Weight of Evidence），建立与坏账率的单调关系。
- 模型拟合：使用训练集进行逻辑回归参数估计，通常采用最大似然估计（MLE）。
- 正则化：引入L1/L2正则化（如Ridge或LASSO）控制模型复杂度，防止过拟合。
# 逻辑回归模型训练示例（Python伪代码）
from sklearn.linear_model import LogisticRegression
model = LogisticRegression(
penalty='l2', # L2正则化
C=1.0, # 正则化强度的倒数
solver='lbfgs', # 优化算法
max_iter=1000,
class_weight='balanced' # 处理样本不平衡
)
model.fit(X_train_woe, y_train)
评分卡转换：训练完成后，将逻辑回归系数与WOE映射表结合，转换为标准评分卡格式。基础分（Offset）和刻度（Scale）需根据业务预设的“基准分”和“翻倍分值”计算。
3.3 KS与AUC评估指标
信用评分模型最核心的两个区分度指标是KS（Kolmogorov-Smirnov）和AUC（Area Under the ROC Curve）。两者均基于模型对好坏客户的排序能力进行评价。
| 指标 | 定义 | 取值范围 | 行业标准 |
|---|---|---|---|
| KS | 好客户累计分布与坏客户累计分布的最大差值 | 0 – 1 | ≥0.3 可接受，≥0.4 优秀 |
| AUC | ROC曲线下的面积，随机抽取一对好坏样本，模型将坏客户排在好客户前面的概率 | 0.5 – 1 | ≥0.75 可接受，≥0.85 优秀 |
注意：KS过高（如 > 0.75）通常意味着模型存在严重的过拟合或特征泄露，需要结合验证集和测试集的表现综合判断。KS并非越高越好，稳定性和可解释性同样重要。
3.4 过拟合判断方法
过拟合是指模型在训练集上表现优异，但在验证集或测试集上表现显著下降。信用评分模型对过拟合高度敏感，因为过拟合的模型在未来的客群上会失去稳定性。
判断过拟合的常用方法包括：
- 训练集 vs 验证集指标对比：若训练集KS/AUC远高于验证集（差值 > 0.1），则存在过拟合风险。
- 学习曲线分析：绘制训练集和验证集的误差随训练样本量变化的曲线，观察两者是否收敛。
- 特征系数稳定性：检查逻辑回归系数的符号和大小是否符合业务逻辑，异常大的系数通常暗示过拟合。
- 交叉验证：采用K折交叉验证（K=5或10），观察各折之间的指标波动范围。
行业经验：信用评分模型通常要求训练集与测试集的KS差值不超过0.05，且测试集KS不低于0.25。若差值超过0.08，应重新进行特征筛选或增加正则化强度。
3.5 模型稳定性验证
除了区分度，信用评分模型还必须通过稳定性检验。常用的稳定性指标是群体稳定性指标（Population Stability Index, PSI）。
| PSI 值 | 含义 | 建议操作 |
|---|---|---|
| < 0.1 | 无显著变化，模型稳定 | 可正常使用 |
| 0.1 – 0.25 | 轻度偏移，需监控 | 检查客群结构变化，考虑模型校准 |
| > 0.25 | 严重偏移，模型失效 | 需重新训练或重建模型 |
重要提醒：模型训练完成后，务必在测试集上执行一次完整的KS、AUC和PSI评估。测试集的结果是模型上线前的最终通行证，任何基于测试集的调优都会导致评估结果失真。
通过以上步骤，我们可以系统性地完成信用评分模型的训练与验证，确保模型在区分度、稳定性和可解释性三个维度上均达到上线标准。