3. XGBoost 算法原理：梯度提升树核心思想、目标函数与正则化

XGBoost（eXtreme Gradient Boosting）是梯度提升决策树（GBDT）的高效工程实现，在交易风控领域因其高精度、强鲁棒性和内置正则化而成为主流模型。本章深入剖析其核心原理，并与随机森林、GBDT 进行对比。

3.1 梯度提升树核心思想

梯度提升树的核心是加法模型与前向分步算法。它通过迭代地添加决策树，每棵新树都拟合前一棵树的残差（或负梯度方向），从而逐步降低整体损失。

加法模型数学表达：

给定训练集 D = {(x_i, y_i)}，模型输出为 K 棵树的累加：
ŷ_i = Σ_{k=1}^{K} f_k(x_i),  f_k ∈ F

其中 F 是回归树（CART）的函数空间，f_k 对应第 k 棵独立树的结构与叶子权重。

前向分步优化： 在第 t 步，模型已有 ŷ_i^{(t-1)}，需要寻找第 t 棵树 f_t 来最小化目标函数：

Obj^{(t)} = Σ_{i=1}^{n} L(y_i, ŷ_i^{(t-1)} + f_t(x_i)) + Ω(f_t)

其中 L 是损失函数（如逻辑损失、平方损失），Ω 是正则项。

为了高效求解，XGBoost 对损失函数进行二阶泰勒展开，同时利用一阶导数（梯度 g_i）和二阶导数（海森矩阵 h_i）来指导树的分裂与叶子权重计算，这是其相比传统 GBDT（仅用一阶梯度）的核心加速与精度提升点。

3.2 XGBoost 的目标函数与正则化

XGBoost 的目标函数由训练损失和模型复杂度惩罚（正则项）两部分组成，这是其防止过拟合、提升泛化能力的关键设计。

Obj(Θ) = Σ_{i=1}^{n} L(y_i, ŷ_i) + Σ_{k=1}^{K} Ω(f_k)

其中正则项 Ω(f) 定义为：
Ω(f) = γ * T + ½ * λ * Σ_{j=1}^{T} w_j²

参数说明：
- T：树中叶子节点的数量（控制树的复杂度）
- w_j：第 j 个叶子节点的权重（输出分数）
- γ：叶子节点数惩罚系数（越大树越简单）
- λ：L2 正则化系数（控制叶子权重平滑度）

分裂增益计算： 在构建树时，XGBoost 使用精确贪心算法或近似算法寻找最佳分裂点。分裂增益公式同时考虑了结构得分和正则化：

Gain = ½ * [ (G_L² / (H_L + λ)) + (G_R² / (H_R + λ)) - ((G_L + G_R)² / (H_L + H_R + λ)) ] - γ

其中 G 为一阶梯度之和，H 为二阶梯度之和。
只有 Gain > 0 时，分裂才会被采纳，否则剪枝。

3.3 XGBoost vs. 随机森林 vs. GBDT

理解三者的区别，有助于在风控场景中正确选型。下表从核心机制、偏差-方差、并行能力、正则化等维度进行对比。

3.4 关键工程特性总结

XGBoost 在工程实现上对 GBDT 做了多项优化，使其在交易风控的大数据场景下表现卓越：

• 列块压缩与缓存感知： 数据按列预排序并压缩存储，分裂时只需扫描一次，支持缓存优化。
• 近似分位数算法： 对连续特征使用加权分位数草图（Weighted Quantile Sketch），减少候选分裂点数量，加速训练。
• 稀疏感知算法： 自动处理缺失值和稀疏特征（如 one-hot 编码后的 0 值），学习默认分裂方向。
• 内置交叉验证与早停： 训练过程中自动监控验证集指标，防止过拟合。