4. 集成学习原理：Bagging与Boosting的核心思想，随机森林与GBDT的原理对比，XGBoost与LightGBM的演进关系

4.1 集成学习概述

集成学习（Ensemble Learning）通过构建并组合多个基学习器（弱学习器）来完成学习任务，其泛化能力通常显著优于单一学习器。在风控场景中，单一模型（如单棵决策树）容易过拟合或欠拟合，而集成方法能有效降低方差或偏差，提升模型的稳定性和预测精度。

4.2 Bagging与Boosting：两大流派

集成学习主要分为两大流派：Bagging（Bootstrap Aggregating）和 Boosting。它们在样本采样、模型训练方式和目标上存在本质区别。

4.3 随机森林与GBDT的原理对比

随机森林（Random Forest）和梯度提升决策树（GBDT）分别是Bagging和Boosting流派中最具代表性的算法。理解它们的差异是掌握后续XGBoost和LightGBM的基础。

4.3.1 随机森林（Random Forest）

• 基学习器： CART决策树（分类与回归树）。
• 双重随机性：
  1. 样本随机： 对原始训练集进行有放回采样（Bootstrap），构建不同的子集。
  2. 特征随机： 在每个节点分裂时，从所有特征中随机选择一个子集（通常为 sqrt(p) 或 log2(p)），再从中选择最优分裂特征。
• 输出： 分类任务采用多数投票，回归任务采用平均值。
• 优点： 抗过拟合能力强，训练可高度并行化，对缺失值和异常值鲁棒。
• 缺点： 在噪声较大的数据集上可能过拟合；对极端值不敏感，但整体偏差较高。

4.3.2 GBDT（Gradient Boosting Decision Tree）

• 基学习器： CART回归树（即使分类任务也使用回归树拟合残差）。
• 核心思想： 每一轮迭代拟合前一轮模型的负梯度（即残差的近似）。
• 训练过程：
  1. 初始化一个弱学习器（如常数）。
  2. 计算当前模型的负梯度（伪残差）。
  3. 用一棵回归树拟合该负梯度。
  4. 将新树乘以学习率后累加到模型中。
  5. 重复步骤2-4直到达到预设的迭代次数。
• 优点： 预测精度高，能灵活处理各种类型的数据。
• 缺点： 串行训练导致训练速度慢，难以并行；对异常值敏感。

4.4 XGBoost与LightGBM的演进关系

XGBoost和LightGBM都是GBDT的高效工程实现，它们在算法原理上继承了Boosting思想，但在系统优化和分裂策略上进行了重大改进。

4.4.1 XGBoost：工程优化的里程碑

• 二阶泰勒展开： 对损失函数进行二阶泰勒展开，同时利用一阶导数和二阶导数（Hessian矩阵）来近似损失，比GBDT的一阶近似更精确。
• 正则化项： 在目标函数中显式加入树的复杂度（叶子节点数 + L2正则），有效防止过拟合。
• 列抽样（Column Subsampling）： 借鉴随机森林的特征采样，进一步降低过拟合风险并加速计算。
• 加权分位数草图（Weighted Quantile Sketch）： 处理连续特征时，通过分位数算法找到候选分裂点，减少计算量。
• 稀疏感知算法（Sparsity-aware）： 自动学习缺失值的最佳分裂方向，无需额外填充。

4.4.2 LightGBM：速度与效率的突破

• 基于直方图的算法（Histogram-based）： 将连续特征离散化为k个桶（bins），构建直方图进行分裂点搜索。相比XGBoost的预排序（Pre-sorted）算法，内存消耗降低数倍，训练速度大幅提升。
• GOSS（Gradient-based One-Side Sampling）： 基于梯度的单边采样。在计算信息增益时，保留大梯度样本（误差大），对小梯度样本进行随机下采样，在保持精度的同时显著加速。
• EFB（Exclusive Feature Bundling）： 互斥特征捆绑。将高维稀疏特征中互斥（几乎不同时取非零值）的特征捆绑为一个特征，有效降低特征维度。
• Leaf-wise（叶子节点生长）策略： 每次从当前所有叶子中，找到分裂增益最大的一个叶子进行分裂，而不是XGBoost的Level-wise（按层生长）。Leaf-wise能更快降低损失，但需控制树深度和叶子节点数以防过拟合。

4.5 从GBDT到LightGBM的演进总结

下表总结了从GBDT到XGBoost再到LightGBM的关键演进点，帮助你在风控模型选型时做出更优决策。