4. XGBoost 核心原理：梯度提升树、损失函数、正则化项、树结构学习

XGBoost（eXtreme Gradient Boosting）是梯度提升决策树（GBDT）的高效工程实现，在金融风控领域长期占据主流地位。理解其核心原理，是掌握风险模型A/B分流策略的理论基础。本章从梯度提升树框架、损失函数、正则化项与树结构学习四个维度展开。

4.1 梯度提升树（Gradient Boosting Decision Tree）

梯度提升树是一种集成学习算法，通过串行训练多棵决策树，每棵新树拟合前一轮预测的残差（或负梯度），最终将所有树的预测结果累加得到最终输出。

数学表达如下：

• 初始化： \( f_0(x) = \arg\min_\gamma \sum_{i=1}^n L(y_i, \gamma) \)
• 迭代： 对于 \( m = 1 \) 到 \( M \)：
  1. 计算负梯度：\( r_{im} = -\left[ \frac{\partial L(y_i, f(x_i))}{\partial f(x_i)} \right]_{f=f_{m-1}} \)
  2. 拟合一棵回归树 \( h_m(x) \) 到残差 \( r_{im} \)
  3. 更新模型：\( f_m(x) = f_{m-1}(x) + \eta \cdot h_m(x) \)（\( \eta \) 为学习率）

4.2 损失函数（Loss Function）

XGBoost 的损失函数是模型优化的核心目标，它衡量预测值与真实值之间的差异。在风控场景中，常用的损失函数包括：

4.3 正则化项（Regularization）

XGBoost 在损失函数中显式加入正则化项，用于控制模型复杂度，防止过拟合。这是 XGBoost 相比传统 GBDT 的重要改进之一。

目标函数形式：

Obj = Σ L(y_i, ŷ_i) + Σ Ω(f_k)

其中 Ω(f) = γT + (1/2)λ||w||² + α|w|

参数说明：
- T：叶子节点数量
- w：叶子节点权重向量
- γ：叶子节点惩罚系数（控制树复杂度）
- λ：L2 正则化系数（权重衰减）
- α：L1 正则化系数（稀疏化）

4.4 树结构学习（Tree Structure Learning）

XGBoost 使用贪心算法学习树结构，核心是寻找最优分裂点。其关键创新在于使用二阶泰勒展开近似损失函数，并引入结构分数（Structure Score）来评估分裂质量。

分裂增益公式：

Gain = (1/2) * [ (G_L² / (H_L + λ)) + (G_R² / (H_R + λ)) - (G² / (H + λ)) ] - γ

其中：
- G：一阶梯度统计量之和
- H：二阶梯度统计量之和
- L/R：左/右子节点
- λ：L2 正则化系数
- γ：分裂惩罚系数

4.5 核心原理总结