2. XGBoost 算法原理：集成学习思想、决策树基础与目标函数正则化

在风控策略评估中，单一模型往往难以捕捉复杂的数据模式，而 XGBoost 凭借其强大的集成学习框架，成为业界处理高维、非线性、稀疏特征的首选算法。本节从集成学习思想出发，逐步拆解决策树基础，并深入 XGBoost 的核心——目标函数与正则化机制。

2.1 集成学习思想：从弱到强的进化

集成学习通过组合多个弱学习器（如决策树）来构建一个强学习器。其核心思想是“三个臭皮匠，顶个诸葛亮”。在风控场景中，单一规则或简单模型容易过拟合或欠拟合，而集成方法能有效降低方差与偏差。

常见的集成方法分为三类：

XGBoost 属于 Boosting 家族，它通过梯度提升框架，在每一轮迭代中拟合前一轮的残差，逐步优化整体预测能力。

2.2 决策树基础：分裂与纯度

决策树是 XGBoost 的基学习器。一棵决策树通过递归地选择最优特征和分裂点，将数据划分到不同的叶子节点。分裂的核心指标包括：

• 信息增益（ID3）：基于熵的减少量。
• 增益率（C4.5）：对信息增益做归一化，避免偏好取值多的特征。
• 基尼系数（CART）：衡量节点不纯度，值越小纯度越高。

XGBoost 默认使用 CART 树，其分裂目标是最小化损失函数。下图展示了一棵用于风控评分的简单决策树结构：

2.3 XGBoost 的目标函数与正则化

XGBoost 的核心创新在于其显式定义了带正则化的目标函数，并在优化过程中同时控制模型复杂度与拟合误差。目标函数形式如下：

Obj = Σ L(y_i, ŷ_i) + Σ Ω(f_k)

其中：
- L(y_i, ŷ_i) 是损失函数，衡量预测值 ŷ_i 与真实值 y_i 的差异
- Ω(f_k) 是第 k 棵树的复杂度惩罚项（正则化）
- 求和符号 Σ 分别对样本 i 和树 k 进行累加

正则化项 Ω(f) 的具体定义为：

Ω(f) = γ * T + (1/2) * λ * Σ w_j² + α * Σ |w_j|

其中：
- T 为叶子节点数量
- w_j 为第 j 个叶子节点的权重（预测分数）
- γ 控制叶子节点数的惩罚力度
- λ 为 L2 正则化系数（Ridge）
- α 为 L1 正则化系数（Lasso）

XGBoost 在优化时使用二阶泰勒展开近似损失函数，相比传统 GBDT 的一阶近似，收敛更快、精度更高。其分裂增益计算公式为：

Gain = (1/2) * [ (G_L² / (H_L + λ)) + (G_R² / (H_R + λ)) - ( (G_L + G_R)² / (H_L + H_R + λ) ) ] - γ

其中：
- G_L, G_R 为左右子节点的一阶梯度之和
- H_L, H_R 为左右子节点的二阶梯度之和
- λ 为 L2 正则化系数
- γ 为分裂惩罚项

只有当 Gain > 0 时，分裂才会被采纳，否则剪枝。这一机制天然防止了无效分裂，使模型在风控场景中保持简洁高效。

2.4 集成学习与目标函数的关系图

下图展示了 XGBoost 从数据输入到最终输出的完整流程，突出集成学习与目标函数优化的协作关系：

2.5 关键参数速查表

在风控策略评估中，以下 XGBoost 参数直接影响模型效果与稳定性：