3. XGBoost 原理回顾：梯度提升树核心思想、正则化目标函数、树结构学习与特征重要性

在贷后预警场景中，特征漂移检测本质上是一个分布变化识别问题。XGBoost 凭借其高效的梯度提升框架、内置正则化与特征重要性评估机制，成为构建漂移检测模型的理想基座。本节从原理层面拆解 XGBoost 的三大支柱：梯度提升树核心思想、正则化目标函数与树结构学习，并延伸至特征重要性在漂移分析中的应用。

3.1 梯度提升树核心思想

梯度提升树（Gradient Boosting Decision Tree, GBDT）是一种集成学习算法，通过串行迭代的方式组合多个弱学习器（决策树），逐步降低整体预测误差。其核心思想可概括为：每一棵新树都在拟合前一棵树的残差（或负梯度方向）。

数学上，假设第 t 轮迭代后的模型为 f_t(x)，损失函数为 L(y, f(x))，则第 t+1 轮的目标是找到一棵树 h_t+1(x)，使得：

f_{t+1}(x) = f_t(x) + η · h_{t+1}(x)

其中：
- η 为学习率（shrinkage），控制每棵树的贡献步长
- h_{t+1}(x) 拟合的是损失函数在当前模型下的负梯度：
  g_i = ∂L(y_i, f_t(x_i)) / ∂f_t(x_i)
  h_{t+1} ≈ argmin_h Σ [g_i · h(x_i) + ½ h(x_i)²]

XGBoost 在标准 GBDT 基础上做了两点关键改进：二阶泰勒展开（同时使用一阶梯度 g_i 和二阶梯度 h_i）与显式正则化，使收敛更快、泛化更强。

3.2 正则化目标函数

XGBoost 的目标函数由训练损失与模型复杂度惩罚两部分组成，这是其防止过拟合、提升漂移检测鲁棒性的核心设计：

Obj(θ) = Σ L(y_i, ŷ_i) + Σ Ω(f_k)

其中：
- Σ L(y_i, ŷ_i) 为所有样本的损失之和（如对数损失、平方损失）
- Σ Ω(f_k) 为所有树的复杂度惩罚之和
- 单棵树复杂度：Ω(f) = γT + ½λ||w||² + α|w|

正则项中各参数的含义与作用如下表所示：

3.3 树结构学习与分裂增益

XGBoost 采用贪心算法逐层构建决策树，每次分裂选择增益最大的特征与切分点。其分裂增益公式基于二阶泰勒展开推导，同时纳入了正则化项：

Gain = ½ [ G_L²/(H_L+λ) + G_R²/(H_R+λ) - (G_L+G_R)²/(H_L+H_R+λ) ] - γ

其中：
- G_L, H_L：左子节点的一阶、二阶梯度之和
- G_R, H_R：右子节点的一阶、二阶梯度之和
- λ：L2 正则化系数
- γ：分裂惩罚项

分裂过程遵循以下步骤：

1. 特征排序： 对每个特征的值进行排序，生成候选切分点
2. 扫描计算： 从左到右扫描，累积计算左右子节点的梯度统计量
3. 增益比较： 对每个候选切分点计算 Gain，选择最大增益的特征-切分点组合
4. 剪枝决策： 若最大 Gain < γ，则停止分裂（预剪枝）

下图展示了 XGBoost 单棵树的分裂过程与增益计算逻辑：

3.4 特征重要性：从树结构到漂移归因

XGBoost 提供三种内置的特征重要性度量，每种度量从不同角度反映特征对模型决策的贡献。在贷后预警特征漂移检测中，特征重要性用于定位哪些特征的分布变化对模型预测影响最大。

特征重要性的计算与树结构学习紧密关联：每完成一棵树的构建，XGBoost 会遍历所有内部节点，将节点的增益（gain）、分裂次数（weight）或覆盖样本数（cover）累加到对应特征上。最终对所有树的结果求和或取平均，得到全局特征重要性向量。

下图展示了特征重要性在漂移检测中的归因链路：

3.5 本节要点总结