2. XGBoost 核心原理回顾

在进入压力测试与 A/B 分流实战之前，必须牢固掌握 XGBoost 的核心原理。XGBoost 并非凭空创造的算法，而是对梯度提升决策树（GBDT）在工程与数学上的极致优化。本节将围绕四个核心支柱展开：梯度提升树、损失函数、正则化项与树的结构分数。

2.1 梯度提升树：从加法模型到残差拟合

XGBoost 属于集成学习中的 Boosting 流派，其基础模型是 CART 回归树。核心思想是采用加法模型，逐步迭代生成多棵决策树，每一棵新树都致力于拟合前一轮预测的残差（或更准确地说，是损失函数的负梯度方向）。

假设我们有 \( K \) 棵树，对于样本 \( x_i \)，模型的最终预测值为：

ŷ_i = Σ_{k=1}^{K} f_k(x_i),  f_k ∈ F

其中 \( F \) 是所有 CART 树的函数空间。训练过程是贪心的：固定已学到的树，每次只优化当前要添加的树 \( f_t \)。

2.2 损失函数：带二阶泰勒展开的目标函数

XGBoost 的目标函数由两部分组成：训练损失与模型复杂度。在第 \( t \) 轮迭代时，目标函数为：

Obj^{(t)} = Σ_{i=1}^{n} l(y_i, ŷ_i^{(t-1)} + f_t(x_i)) + Ω(f_t)

为了快速求解，XGBoost 对损失函数 \( l \) 进行二阶泰勒展开：

Obj^{(t)} ≈ Σ_{i=1}^{n} [ l(y_i, ŷ^{(t-1)}) + g_i f_t(x_i) + ½ h_i f_t²(x_i) ] + Ω(f_t)

其中：

• \( g_i \) = \( ∂_{ŷ^{(t-1)}} l(y_i, ŷ^{(t-1)}) \) —— 一阶梯度统计
• \( h_i \) = \( ∂²_{ŷ^{(t-1)}} l(y_i, ŷ^{(t-1)}) \) —— 二阶梯度统计

去掉常数项后，第 \( t \) 轮的目标函数简化为：

Obj^{(t)} ≈ Σ_{i=1}^{n} [ g_i f_t(x_i) + ½ h_i f_t²(x_i) ] + Ω(f_t)

2.3 正则化项：控制模型复杂度的关键

XGBoost 的正则化项 \( Ω(f_t) \) 是其防止过拟合的核心武器，定义如下：

Ω(f_t) = γ T + ½ λ Σ_{j=1}^{T} w_j² + α Σ_{j=1}^{T} |w_j|

各参数含义如下表：

2.4 树的结构分数：如何评价一棵树的好坏

将正则化项代入目标函数，并合并到每个叶子节点 \( j \) 上，可以得到一个衡量树结构优劣的结构分数。对于一棵给定的树，其最优叶子权重 \( w_j^* \) 和对应的最小目标函数值 \( Obj^* \) 为：

w_j^* = - (Σ_{i∈I_j} g_i) / (Σ_{i∈I_j} h_i + λ)

Obj^* = -½ Σ_{j=1}^{T} [ (Σ_{i∈I_j} g_i)² / (Σ_{i∈I_j} h_i + λ) ] + γ T

其中 \( I_j \) 是落在叶子 \( j \) 上的样本集合。这个公式是 XGBoost 分裂点寻找的核心依据：分裂后的增益 = 分裂前的 Obj^* - 分裂后的 Obj^*。

下图展示了 XGBoost 从原始数据到最终预测的完整流程，以及核心原理的串联关系：

2.5 核心原理对比总结

下表将 XGBoost 与传统的 GBDT 进行对比，帮助理解其优势所在：