2. XGBoost算法原理回顾：梯度提升树核心思想，目标函数与正则项，树结构学习与分裂增益计算

在深入变量衍生与分箱之前，必须牢固掌握XGBoost的核心原理。XGBoost（eXtreme Gradient Boosting）是梯度提升决策树（GBDT）的高效工程实现，其成功的关键在于：二阶泰勒展开近似目标函数、显式正则化以及加权分位数缩略图。本节将系统回顾其三大支柱：梯度提升树核心思想、目标函数与正则项、树结构学习与分裂增益计算。

2.1 梯度提升树核心思想

梯度提升树（Gradient Boosting Decision Tree, GBDT）是一种迭代的集成学习算法，其核心思想是：每一轮迭代训练一棵新的决策树，拟合前一轮模型的负梯度方向。XGBoost在此基础上进行了二阶优化和正则化增强。

与传统的GBDT使用一阶负梯度不同，XGBoost在目标函数上使用二阶泰勒展开，同时利用一阶导数（梯度）和二阶导数（海森矩阵）来更精确地逼近损失函数，从而加速收敛并提升精度。

2.2 目标函数与正则项

XGBoost的目标函数由损失函数和正则化项两部分组成，这是其与普通GBDT最显著的区别之一。

2.2.1 损失函数的二阶泰勒展开

在第 t 轮迭代中，XGBoost对损失函数进行二阶泰勒展开：

Obj⁽ᵗ⁾ ≈ Σ [ L(yᵢ, ŷᵢ⁽ᵗ⁻¹⁾) + gᵢ · fₜ(xᵢ) + ½ · hᵢ · fₜ²(xᵢ) ] + Ω(fₜ)

其中：
gᵢ = ∂L(yᵢ, ŷ⁽ᵗ⁻¹⁾) / ∂ŷ⁽ᵗ⁻¹⁾   （一阶梯度）
hᵢ = ∂²L(yᵢ, ŷ⁽ᵗ⁻¹⁾) / ∂(ŷ⁽ᵗ⁻¹⁾)²  （二阶梯度）

由于 L(yᵢ, ŷᵢ⁽ᵗ⁻¹⁾) 是常数，优化时可忽略，最终目标函数简化为：

Obj⁽ᵗ⁾ ≈ Σ [ gᵢ · fₜ(xᵢ) + ½ · hᵢ · fₜ²(xᵢ) ] + Ω(fₜ)

2.2.2 正则化项定义

XGBoost对每棵决策树 fₜ 定义正则化项：

Ω(fₜ) = γ · T + ½ · λ · Σ wⱼ² + α · Σ |wⱼ|

其中：
T  = 树的叶子节点数量
wⱼ = 第 j 个叶子节点的权重（预测值）
γ  = 叶子节点数量的惩罚系数（L1正则）
λ  = L2正则化系数（权重平方和）
α  = L1正则化系数（权重绝对值之和）

2.3 树结构学习与分裂增益计算

XGBoost使用贪心算法逐层构建决策树：从根节点开始，每次选择一个特征及其分裂点，使得分裂后的增益（Gain）最大。增益计算是树结构学习的核心。

2.3.1 分裂增益公式推导

将目标函数代入树结构，对于某个叶子节点 j，其最优权重和最小损失为：

最优权重：wⱼ* = - Gⱼ / (Hⱼ + λ)

最小损失：Obj* = -½ · Σ [ Gⱼ² / (Hⱼ + λ) ] + γ · T

其中：
Gⱼ = Σ gᵢ  （叶子节点 j 上所有样本的一阶梯度之和）
Hⱼ = Σ hᵢ  （叶子节点 j 上所有样本的二阶梯度之和）

分裂前的损失为（单个叶子节点）：Obj_before = -½ · [ (G_L + G_R)² / (H_L + H_R + λ) ] + γ

分裂后的损失为（两个叶子节点）：Obj_after = -½ · [ G_L² / (H_L + λ) + G_R² / (H_R + λ) ] + 2γ

分裂增益 Gain 定义为分裂前后损失减少量：

Gain = Obj_before - Obj_after

Gain = ½ · [ G_L² / (H_L + λ) + G_R² / (H_R + λ) - (G_L + G_R)² / (H_L + H_R + λ) ] - γ

2.3.2 分裂点寻找算法

XGBoost提供了两种分裂点寻找算法：

其中：n=样本数，m=特征数，d=树深度，b=候选分裂点数量（通常远小于n）。

2.4 算法流程总结

XGBoost的完整训练流程可以归纳为以下步骤：

1. 初始化：设置初始预测值 F₀(x) = 0 或使用常数
2. 迭代：对于 t = 1 到 T（树的数量）：
   • 计算每个样本的一阶梯度 gᵢ 和二阶梯度 hᵢ
   • 构建一棵新树 fₜ(x)：
     • 从根节点开始，递归进行分裂
     • 对每个节点，遍历特征和分裂点，计算Gain
     • 选择最大Gain的分裂，若Gain ≤ γ 则停止分裂
     • 计算叶子节点权重 wⱼ* = -Gⱼ/(Hⱼ+λ)
   • 更新模型：Fₜ(x) = Fₜ₋₁(x) + η · fₜ(x)
3. 输出：最终集成模型 F_T(x)

2.5 关键参数速查表