2. 集成学习基础

在金融建模中，单一模型往往难以同时兼顾稳定性与精度。集成学习通过组合多个基学习器，把“个体偏差”和“个体方差”转化为可控的整体误差，是信用评分、量化选股、违约预测等场景的常用手段。理解偏差—方差分解，是理解所有集成方法差异的起点。

一、核心原理：偏差方差分解

对于回归问题，模型在样本上的期望泛化误差可分解为三部分：

E[(y - f̂(x))²] = Bias²(f̂(x)) + Var(f̂(x)) + σ²
其中：
  Bias²  = (E[f̂(x)] - f(x))²   模型平均预测与真实规律的偏离
  Var    = E[(f̂(x) - E[f̂(x)])²] 模型对训练集扰动的敏感程度
  σ²     = 数据本身不可约噪声

偏差高意味着模型“学得不够”，方差高意味着模型“学得太碎”。金融数据信噪比低、样本量有限，因此方差往往是主要矛盾。集成学习的核心思路，就是通过不同方式在偏差与方差之间重新分配：Bagging 主攻降方差，Boosting 主攻降偏差，Stacking/Blending 则通过元学习器在两者之间寻找更优组合。

二、方法流程：四类集成范式的操作差异

四类方法在“基学习器如何生成、如何组合”上存在本质区别，直接决定了它们适用的金融场景。

Bagging 的关键是“扰动数据分布”：对训练集做有放回抽样，训练多个基模型后平均，使方差按约 1/M 下降（M 为基模型数）。Boosting 的关键是“扰动样本权重”：每轮提升被前序模型预测错误的样本权重，最终模型是弱学习器的加权和。Stacking 的关键是“扰动模型空间”：用不同算法生成元特征，再由元学习器学习如何组合。Blending 则用固定留出集替代交叉验证，流程更简单但数据利用率更低。

三、案例场景：金融风控中的组合选择

假设我们要构建一个企业违约预测模型，样本约 2 万条，特征包含财务比率、舆情、行业景气度。若直接使用单棵深度决策树，训练集 AUC 可达 0.95，但验证集仅 0.72，典型的高方差表现。此时可先采用随机森林（Bagging）将验证集 AUC 提升至 0.80 左右，方差明显下降。若希望进一步降低偏差，可引入 XGBoost（Boosting），但需警惕对噪声样本的过拟合。

更稳健的做法是 Stacking：第一层使用逻辑回归、随机森林、XGBoost、LightGBM 四个异质模型，通过 5 折交叉验证生成元特征；第二层使用带 L2 正则的逻辑回归作为元学习器。这样既保留了树模型对非线性关系的捕捉能力，又通过线性元学习器控制整体方差。若数据量较小或需要快速验证，可改用 Blending，用 20% 留出集训练元学习器，但需注意留出集分布偏移带来的风险。

四、误区与复盘

• 误区一：集成一定优于单模型。若基学习器高度相关，Bagging 降方差效果有限；若基学习器本身偏差极大，Boosting 也可能放大噪声。
• 误区二：Stacking 层数越多越好。金融数据信噪比低，多层堆叠极易过拟合，通常一层元学习器已足够。
• 误区三：Blending 与 Stacking 可随意替换。Blending 的留出集不参与基模型训练，数据利用率低；Stacking 的交叉验证更充分，但计算成本更高。
• 误区四：忽略时间序列结构。金融数据常有时序依赖，随机 K 折会引入未来信息，应使用时间序列交叉验证或滚动窗口。