4. Challenger 模型候选：XGBoost、LightGBM、神经网络等候选模型介绍

在信用评分模型升级项目中，Challenger 模型的选择直接决定了对照实验的上限。传统逻辑回归（Champion）在特征交互、非线性关系和高维稀疏数据上存在天然瓶颈。本章系统介绍三类主流 Challenger 候选模型——XGBoost、LightGBM 与神经网络，并从信用评分的实际场景出发，对比其适用边界与风险。

4.1 候选模型全景对比

下表从核心机制、数据适应性、训练效率与可解释性四个维度，对三类候选模型进行横向对比：

维度 XGBoost LightGBM 神经网络（MLP）
核心机制 梯度提升树 + 二阶泰勒展开 + 正则化 单边梯度采样（GOSS）+ 互斥特征捆绑（EFB） 多层全连接 + 非线性激活 + 反向传播
特征交互 树结构自动捕获高阶交互 树结构自动捕获，但偏向叶子数更少 隐藏层可学习任意复杂交互
缺失值处理 内置稀疏感知，自动学习缺失方向 内置缺失值处理，支持类别特征 需预填充或嵌入层处理
训练速度 中等（精确贪心算法） 快（直方图算法 + GOSS） 慢（依赖 GPU 加速）
可解释性 SHAP / 特征重要性 / 树可视化 SHAP / 特征重要性 / 树可视化 SHAP / LIME / 梯度归因
过拟合风险 低（正则化 + 早停） 中（叶子数敏感，小数据易过拟合） 高（需 Dropout / 正则化 / 数据量支撑）
信用评分适用性 ★★★★★ ★★★★☆ ★★★☆☆
选型建议： 在样本量 5 万以上、特征维度 50~200 的信用评分场景中，优先选择 XGBoost 作为 Challenger 基线；若数据量超过 50 万且特征高度稀疏，LightGBM 在训练效率上更具优势；神经网络仅在样本量 100 万以上且计算资源充足时作为第三候选。

4.2 XGBoost：梯度提升的工业级标准

XGBoost 在信用评分领域长期占据 Challenger 模型首选地位，其核心优势在于二阶泰勒展开带来的高精度逼近与内置正则化对过拟合的抑制。

  • 二阶优化： 相比传统 GBDT 仅使用一阶梯度，XGBoost 引入 Hessian 矩阵，损失函数逼近更精确，收敛更快。
  • 正则化项： 目标函数包含叶子节点数（γ）与叶子权重 L2 范数（λ），直接控制模型复杂度。
  • 列采样与早停： 支持特征列采样（类似 Random Forest）与验证集早停，进一步降低过拟合。
  • 稀疏感知： 自动学习缺失值的最佳分裂方向，无需单独填充。

在信用评分场景中，XGBoost 的典型参数配置如下：

import xgboost as xgb

params = {
    'objective': 'binary:logistic',
    'eval_metric': 'auc',
    'max_depth': 4,           # 信用场景通常 3~6
    'learning_rate': 0.05,
    'subsample': 0.8,
    'colsample_bytree': 0.7,
    'gamma': 0.1,
    'lambda': 1.0,
    'alpha': 0.1,
    'min_child_weight': 5,
    'scale_pos_weight': 1.0,  # 根据坏样本比例调整
    'seed': 42
}

model = xgb.XGBClassifier(**params)
model.fit(X_train, y_train,
          eval_set=[(X_val, y_val)],
          early_stopping_rounds=50,
          verbose=False)
常见陷阱： XGBoost 在特征维度极高（>500）且样本量不足 3 万时，即使开启正则化仍可能过拟合。建议先通过 IV 筛选或 PCA 降维至 100 维以内。

4.3 LightGBM：高效训练与类别特征原生支持

LightGBM 在 XGBoost 基础上做了三项关键改进，使其在大规模信用数据上训练速度提升 3~5 倍：

  • GOSS（单边梯度采样）： 保留大梯度样本，随机采样小梯度样本，在保持精度的同时大幅减少计算量。
  • EFB（互斥特征捆绑）： 将互斥特征（几乎不同时取非零值）捆绑为单个特征，降低特征维度。
  • 直方图算法： 将连续特征离散化为 k 个桶，分裂点搜索从 O(n) 降为 O(k)。

LightGBM 原生支持类别特征，可直接传入分类变量（如职业代码、地区编码），无需独热编码，这对信用评分中常见的离散型强特征非常友好。

import lightgbm as lgb

params = {
    'objective': 'binary',
    'metric': 'auc',
    'boosting_type': 'gbdt',
    'num_leaves': 31,         # 信用场景建议 15~31
    'max_depth': -1,          # 不限制深度，由 num_leaves 控制
    'learning_rate': 0.05,
    'feature_fraction': 0.7,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'lambda_l1': 0.1,
    'lambda_l2': 0.1,
    'min_child_samples': 20,
    'categorical_feature': [3, 5, 8],  # 指定类别特征列索引
    'seed': 42
}

model = lgb.LGBMClassifier(**params)
model.fit(X_train, y_train,
          eval_set=[(X_val, y_val)],
          callbacks=[lgb.early_stopping(50)])
效率对比： 在 30 万样本、200 维特征的信用数据集上，LightGBM 训练耗时约为 XGBoost 的 1/3，内存占用约为 1/2。但 LightGBM 对叶子数（num_leaves）敏感，设置过大时小样本场景下过拟合风险高于 XGBoost。

4.4 神经网络（MLP）：深度学习的信用评分尝试

多层感知机（MLP）在信用评分中通常作为第三候选，其优势在于理论上可以逼近任意复杂函数，但实际落地面临数据量、可解释性与调参复杂度三重挑战。

  • 网络结构： 信用评分场景推荐 2~4 个隐藏层，每层神经元数从 128 递减至 16，激活函数使用 ReLU 或 Swish。
  • 正则化策略： Dropout（0.2~0.5）、Batch Normalization、L1/L2 正则化、早停（Early Stopping）必须组合使用。
  • 输入预处理： 连续特征需标准化（Z-score），类别特征需嵌入（Embedding）或独热编码后输入。
  • 输出层： 单个神经元 + Sigmoid 激活，输出违约概率。
import tensorflow as tf
from tensorflow.keras import layers, models

def build_credit_mlp(input_dim):
    model = models.Sequential([
        layers.Input(shape=(input_dim,)),
        layers.Dense(128, activation='relu'),
        layers.BatchNormalization(),
        layers.Dropout(0.3),
        layers.Dense(64, activation='relu'),
        layers.BatchNormalization(),
        layers.Dropout(0.3),
        layers.Dense(16, activation='relu'),
        layers.Dropout(0.2),
        layers.Dense(1, activation='sigmoid')
    ])
    model.compile(
        optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
        loss='binary_crossentropy',
        metrics=['auc']
    )
    return model

model = build_credit_mlp(X_train.shape[1])
history = model.fit(
    X_train, y_train,
    validation_data=(X_val, y_val),
    epochs=200,
    batch_size=256,
    callbacks=[tf.keras.callbacks.EarlyStopping(patience=20, restore_best_weights=True)],
    verbose=0
)
落地限制： 神经网络在信用评分中面临三大障碍——① 样本量不足 50 万时 AUC 通常低于 XGBoost；② 监管合规要求模型可解释，神经网络需额外依赖 SHAP 或 LIME 进行事后解释；③ 超参数空间大（层数、神经元数、学习率、Dropout 率等），调参成本高。建议仅在 Champion 模型 AUC 低于 0.75 且数据量充足时尝试。

4.5 候选模型选择决策流程

下图展示了从数据特征到最终 Challenger 模型选择的决策路径：

Challenger 候选模型选择决策流程 信用评分数据准备 样本量 ≥ 5 万？ 是 特征维度 ≤ 200？ 是 Challenger：XGBoost 否 强化 Champion：LR + 特征工程 否 Challenger：LightGBM 样本量 > 50 万 Challenger：神经网络 决策说明 • 样本量 < 5 万：不建议使用树模型或神经网络，优先优化逻辑回归特征工程。 • 样本量 5~50 万 + 特征 ≤ 200：XGBoost 为首选 Challenger。 • 样本量 > 50 万 + 特征高度稀疏：LightGBM 效率优势明显。 • 样本量 > 100 万 + 充足 GPU：可尝试神经网络作为第三候选。

4.6 模型可解释性对比

信用评分模型受监管要求，必须提供可解释的违约原因。下表对比三类候选模型的可解释性工具与适用场景：

解释方法 XGBoost LightGBM 神经网络
全局特征重要性 gain / cover / frequency split / gain permutation importance
局部解释（单样本） SHAP（TreeExplainer） SHAP（TreeExplainer） SHAP（DeepExplainer）/ LIME
树结构可视化 graphviz / matplotlib plot_tree / graphviz 不适用
监管合规难度 低（SHAP 可输出每个特征贡献值） 低（同 XGBoost） 高（依赖近似解释，稳定性差）
实践建议： 在 Challenger 对照实验中，建议同时输出 XGBoost 与 LightGBM 的 SHAP 全局解释图，对比两者在 Top-10 驱动特征上的一致性。若两者特征排序差异过大，需排查数据泄露或特征工程偏差。

4.7 本章小结

← 上一章 📖 返回目录 下一章 →