3. XGBoost 算法原理：梯度提升树、正则化目标函数、分裂增益计算

在保险赔付率实时预测场景中，XGBoost 凭借其高效的梯度提升框架、显式的正则化机制以及精确的分裂增益计算，成为工业界处理高维、非线性、稀疏特征的首选模型。本节从算法核心原理出发，拆解其三大支柱：梯度提升树（Boosting）、正则化目标函数（Objective）与分裂增益（Gain）。

3.1 梯度提升树：从残差到梯度

梯度提升树（Gradient Boosting Decision Tree, GBDT）是 XGBoost 的基座。其核心思想是：逐步添加决策树，每棵新树拟合前一轮预测的残差（或负梯度方向）。对于赔付率预测，模型输出为连续值（如赔付金额或赔付概率），损失函数通常采用平方损失或逻辑损失。

算法迭代过程可概括为：

1. 初始化：用一个常数（如样本均值）作为初始预测值 \( \hat{y}_i^{(0)} \)。
2. 迭代：对于第 \( t \) 轮，计算每个样本的负梯度（即伪残差）\( g_i = -\frac{\partial L(y_i, \hat{y}_i^{(t-1)})}{\partial \hat{y}_i^{(t-1)}} \)。
3. 拟合：用一棵决策树拟合这些梯度值，得到树结构 \( f_t(x) \)。
4. 更新：\( \hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + \eta \cdot f_t(x_i) \)，其中 \( \eta \) 为学习率。

3.2 正则化目标函数：平衡偏差与方差

XGBoost 在传统 GBDT 基础上引入了显式的正则化项，目标函数定义为：

Obj = Σ L(y_i, ŷ_i) + Σ Ω(f_t)
其中：
- L(y_i, ŷ_i) 为损失函数（如平方损失、逻辑损失）
- Ω(f_t) = γT + (1/2)λ||w||² + α|w|
  - T：叶子节点数
  - w：叶子权重（预测值）
  - γ：叶子数惩罚系数
  - λ：L2 正则化系数
  - α：L1 正则化系数

正则化的作用体现在两个层面：

3.3 分裂增益计算：精确贪心算法

XGBoost 使用精确贪心算法寻找最优分裂点。对于每个节点，遍历所有特征的所有可能分裂点，计算分裂前后的增益（Gain），选择增益最大的分裂。增益公式基于二阶泰勒展开：

Gain = (1/2) * [ (G_L² / (H_L + λ)) + (G_R² / (H_R + λ)) - ( (G_L + G_R)² / (H_L + H_R + λ) ) ] - γ

其中：
- G_L, G_R：左、右子节点的一阶梯度之和
- H_L, H_R：左、右子节点的二阶梯度之和
- λ：L2 正则化系数
- γ：分裂惩罚项

增益的物理含义：

• 分子部分：衡量分裂后左右子节点梯度的集中程度（梯度越大，说明该子节点预测偏差越大，需要调整的幅度越大）。
• 分母部分：用二阶梯度（Hessian）做归一化，相当于自适应学习率。
• 减号后：不分裂时的整体损失。
• 减去 γ：只有分裂带来的增益超过 γ 时，分裂才被采纳。

3.4 算法优势总结