📚 课程目录第4章 XGBoost算法原理回顾

4. XGBoost 算法原理回顾：梯度提升树核心思想、目标函数与正则项、树的结构分与叶子权重计算、XGBoost 的优势

在金融知识图谱样本偏差校验场景中，XGBoost 凭借其高效的梯度提升框架和内置的正则化机制，成为处理高维稀疏特征与不平衡样本的首选模型。本节从核心思想、数学原理到工程优势，系统回顾 XGBoost 的关键技术点。

XGBoost 基于 Boosting 集成策略，通过逐步添加决策树来修正前一轮的残差。与传统的梯度提升决策树（GBDT）不同，XGBoost 在每一步优化中同时考虑损失函数的一阶导数和二阶导数，从而更精确地逼近最优解。

  核心迭代公式：

  第 t 轮模型输出：ŷᵢ⁽ᵗ⁾ = ŷᵢ⁽ᵗ⁻¹⁾ + η · fₜ(xᵢ)

  其中 fₜ 为第 t 棵回归树，η 为学习率（收缩步长）。

每一棵新树的生成目标是最小化当前残差的加权平方和，权重由二阶导数（Hessian）决定。这种“牛顿法”风格的更新比传统 GBDT 的一阶梯度下降收敛更快、精度更高。

XGBoost 的目标函数由 训练损失 和 模型复杂度惩罚 两部分组成，这是其防止过拟合、提升泛化能力的关键设计。

目标函数形式：
Obj = Σᵢ L(yᵢ, ŷᵢ) + Σₖ Ω(fₖ)
其中 L 为损失函数（如对数损失、平方损失），Ω 为正则项。

正则项 Ω(f) 对单棵决策树的结构进行惩罚，具体定义为：

Ω(f) = γ · T + ½ · λ · Σⱼ wⱼ²

通过引入 γ 和 λ，XGBoost 在金融风控等噪声敏感场景中能自动剪枝，避免模型记住样本偏差。

XGBoost 在每次分裂时使用 结构分（Structure Score） 来评估候选分裂点的质量。结构分越低，说明分裂后目标函数下降越多。

  分裂增益公式（简化版）：

  Gain = ½ · [ Gₗ²/(Hₗ+λ) + Gᵣ²/(Hᵣ+λ) − (Gₗ+Gᵣ)²/(Hₗ+Hᵣ+λ) ] − γ

  其中 G 为一阶梯度之和，H 为二阶梯度之和。

叶子权重 wⱼ 的闭式解为：

wⱼ = − Gⱼ / (Hⱼ + λ)

这种基于二阶导数的权重计算方式，使得 XGBoost 对异常值更鲁棒，且能自动处理样本不均衡——梯度大的样本（如少数类）会获得更大的权重调整。

相比传统 GBDT 和其他树模型，XGBoost 在金融知识图谱样本偏差校验场景中具有以下显著优势：