3. 逾期预测模型概述：逻辑回归、决策树、XGBoost、深度学习模型简介
在信贷风控领域，逾期预测模型的核心任务是根据用户的历史行为、属性特征，估算其在未来特定时间窗口内发生逾期（如逾期30天以上）的概率。本章将系统介绍四类主流模型：逻辑回归、决策树、XGBoost与深度学习模型，从原理、适用场景到优缺点进行对比，为后续A/B测试实验设计奠定基础。
3.1 模型选型全景图
不同模型在可解释性、非线性拟合能力、训练效率与部署成本上存在显著差异。下图展示了四类模型在风控流水线中的典型定位与关系：
3.2 逻辑回归（Logistic Regression）
逻辑回归是信贷风控领域最经典的基线模型。它通过Sigmoid函数将线性回归的输出映射到[0,1]区间，直接输出逾期概率。
数学形式：
P(y=1|x) = 1 / (1 + e-(w0 + w1x1 + ... + wnxn))
P(y=1|x) = 1 / (1 + e-(w0 + w1x1 + ... + wnxn))
3.2.1 核心优势
- 高可解释性：权重wi直接反映特征对逾期概率的正负影响与贡献大小，便于监管合规与业务理解。
- 训练高效：使用梯度下降或牛顿法即可快速收敛，适合大规模样本。
- 概率校准良好：输出天然为概率值，无需额外校准。
3.2.2 局限性
- 只能捕捉特征与逾期之间的线性关系，无法自动处理交互效应与非线性模式。
- 需要较精细的特征工程（如分箱、交叉特征）才能达到较好效果。
3.3 决策树（Decision Tree）
决策树通过递归划分特征空间，生成一系列if-then规则。每个叶子节点对应一个预测概率或类别。
3.3.1 分裂准则
| 准则 | 公式 | 特点 |
|---|---|---|
| 基尼系数 | Gini = 1 - Σpk2 | 默认用于CART，计算快 |
| 信息增益 | IG = H(parent) - Σ(ni/n)H(childi) | 基于熵，对多分类友好 |
| 方差减少 | ΔVar = Var(parent) - Σ(ni/n)Var(childi) | 用于回归树 |
3.3.2 优缺点
- 优点：规则直观，可可视化；无需特征缩放；天然处理缺失值与非线性。
- 缺点：容易过拟合，对数据微小变化敏感（高方差）；单棵树预测精度有限。
风控实践提示：在信贷场景中，决策树常作为集成模型（随机森林、XGBoost）的基学习器，很少单独用于最终评分卡。
3.4 XGBoost（极限梯度提升）
XGBoost是梯度提升决策树（GBDT）的高效实现，在Kaggle竞赛与工业风控中占据统治地位。它通过逐步添加决策树来修正前一轮的残差，并引入正则化项防止过拟合。
3.4.1 关键技术点
- 二阶泰勒展开：同时利用一阶与二阶梯度信息，收敛更快。
- 正则化：在目标函数中加入叶子节点数L1/L2惩罚，控制模型复杂度。
- 列抽样与行抽样：类似随机森林，降低过拟合风险。
- 缺失值自动处理：学习最优分裂方向，无需单独填充。
3.4.2 参数调优核心维度
| 参数 | 作用 | 典型范围 |
|---|---|---|
| n_estimators | 树的数量 | 100 ~ 1000 |
| max_depth | 树的最大深度 | 3 ~ 10 |
| learning_rate | 学习率（步长） | 0.01 ~ 0.3 |
| subsample | 行采样比例 | 0.6 ~ 1.0 |
| colsample_bytree | 列采样比例 | 0.6 ~ 1.0 |
| reg_lambda | L2正则化系数 | 0 ~ 10 |
3.5 深度学习模型（Deep Learning）
深度学习模型通过多层非线性变换自动学习高阶特征表示。在信贷风控中，典型架构包括多层感知机（MLP）、Wide & Deep、以及基于序列的LSTM/Transformer模型。
3.5.1 典型架构对比
| 架构 | 适用场景 | 核心优势 |
|---|---|---|
| MLP（多层感知机） | 结构化表格数据 | 通用性强，可拟合任意复杂函数 |
| Wide & Deep | 记忆+泛化 | 同时学习低阶交叉与高阶特征 |
| LSTM/Transformer | 时序行为序列 | 捕捉用户行为的时间依赖模式 |
3.5.2 在风控中的挑战
- 数据需求大：通常需要百万级以上样本才能发挥优势。
- 可解释性差：黑盒特性在监管严格的金融场景中受限。
- 调参复杂：网络层数、神经元数、激活函数、优化器、正则化策略等组合空间巨大。
- 部署成本高：需要GPU或专用推理服务器。
注意：在信贷逾期预测中，深度学习并非总是优于XGBoost。对于中等规模（10万~100万样本）的结构化表格数据，经过良好调参的XGBoost往往在精度与效率上取得最佳平衡。深度学习更适合超大规模样本或包含文本、图像、时序序列的复杂场景。
3.6 模型选择决策流程
在实际项目中，模型选择应遵循以下步骤：
- 基线建立：先用逻辑回归跑通全流程，获得可解释的基准AUC与KS。
- 集成尝试：使用XGBoost/LightGBM，通过交叉验证评估提升幅度。
- 复杂度评估：若样本量 > 500万且特征维度 > 200，可尝试深度学习。
- 可解释性权衡：若业务方或监管要求高可解释性，优先选择逻辑回归或带SHAP解释的XGBoost。
- A/B测试验证：将候选模型部署为实验组，与线上基线模型进行在线效果对比（后续章节重点）。
3.7 模型评估指标速查
| 指标 | 全称 | 风控含义 | 理想值 |
|---|---|---|---|
| AUC | Area Under ROC Curve | 模型区分好坏用户的能力 | > 0.75 |
| KS | Kolmogorov-Smirnov | 好坏样本累计分布最大差异 | > 0.3 |
| Gini | Gini Coefficient | 2*AUC - 1 | > 0.5 |
| Lift | Lift Curve | 模型相对于随机抽样的提升倍数 | top 10% > 3 |
| LogLoss | Logarithmic Loss | 概率预测的校准程度 | 越小越好 |
本章小结：逻辑回归提供可解释的基线，决策树作为集成基础，XGBoost是当前结构化数据风控的黄金标准，深度学习则在超大规模与复杂特征场景下展现潜力。在后续章节中，我们将以XGBoost与逻辑回归作为A/B测试的典型对比模型，深入实验设计与效果评估。