📚 课程目录第3章集成学习基础

3. 集成学习基础：Bagging、Boosting、Stacking 原理回顾，及其在促销场景的适用性

在促销影响量化任务中，单一模型往往难以同时捕捉促销活动的非线性冲击、季节性波动以及品类间的交叉弹性。集成学习通过组合多个基学习器来降低偏差或方差，是提升预测稳定性和准确性的核心手段。本节回顾三种主流集成范式——Bagging、Boosting 和 Stacking，并分析其在促销场景中的适用边界。

范式	基学习器关系	主要目标	典型算法	促销场景关键优势
Bagging	并行独立训练	降低方差	随机森林	抗噪声，处理促销数据中的异常值
Boosting	串行依赖训练	降低偏差	XGBoost, LightGBM	捕捉促销的复杂非线性交互效应
Stacking	分层组合训练	降低偏差+方差	元学习器融合	融合多源促销信号，提升泛化能力

  关键区别： Bagging 通过自助采样减少过拟合风险；Boosting 通过迭代加权聚焦难样本；Stacking 通过元模型学习基模型的最优组合权重。

Bagging（Bootstrap Aggregating）对训练数据进行有放回抽样，生成多个子集，并行训练多个基学习器，最终通过投票（分类）或平均（回归）输出结果。在促销影响量化中，促销活动常伴随数据录入错误、渠道反馈延迟等噪声，Bagging 的随机采样机制能有效降低这些噪声对最终预测的干扰。

适用场景： 促销数据存在明显离群点或缺失值；基学习器为高方差模型（如未剪枝决策树）。
局限性： 对促销中的强非线性趋势（如大促爆发期）拟合能力有限，偏差降低不明显。
典型配置： 随机森林中树的数量（n_estimators）通常设为 100~500，特征采样比例（max_features）设为 sqrt(p) 或 log2(p)。

Boosting 按顺序训练基学习器，每个新模型重点关注前一个模型预测错误的样本。在促销影响量化中，促销活动往往在特定时间窗口（如双十一、618）产生剧烈的销量脉冲，Boosting 的迭代加权机制能够逐步聚焦这些难以预测的爆发点，从而显著降低偏差。

适用场景： 促销数据存在明显的非线性趋势和交互效应；需要高精度预测促销峰值。
局限性： 对噪声敏感，容易过拟合促销数据中的异常点；训练时间较长。
典型配置： 学习率（learning_rate）通常设为 0.01~0.3，树深度（max_depth）控制在 3~8 之间，早停轮数（early_stopping_rounds）设为 10~50。

促销场景建议： 使用 LightGBM 或 XGBoost 时，建议对促销特征（如折扣率、促销时长）进行分箱处理，并设置样本权重以平衡促销期与非促销期的样本数量差异。

Stacking 使用第一层多个基学习器的输出作为第二层元学习器的输入特征，通过元模型学习如何最优组合基模型的预测。在促销影响量化中，不同基模型可能擅长捕捉不同的促销信号（如价格弹性、渠道效应、品类关联），Stacking 能够自动学习这些信号的权重分配。

层级	角色	促销场景示例	输出
第一层（基模型）	提供多样化预测	随机森林（抗噪）+ XGBoost（非线性）+ 线性回归（可解释）	各模型预测值
第二层（元模型）	学习最优组合权重	岭回归 / 轻量级 GBDT	最终融合预测

过拟合风险： Stacking 的第二层元模型容易过拟合，必须使用交叉验证生成第一层模型的 out-of-fold 预测，避免数据泄露。建议使用 5 折交叉验证。

促销数据特征	推荐集成策略	理由	参数配置要点
高噪声、多离群点	Bagging（随机森林）	并行采样降低异常值影响	n_estimators ≥ 200, max_samples=0.8
强非线性、促销峰值明显	Boosting（LightGBM）	迭代聚焦难样本，拟合爆发点	learning_rate=0.05, max_depth=6
多源促销信号、需要融合	Stacking	元模型自动学习信号权重	5折CV生成元特征，元模型用简单线性模型
数据量小、促销活动稀疏	Boosting + 正则化	防止过拟合，提升泛化	subsample=0.7, colsample_bytree=0.6

  实践建议： 在促销影响量化项目中，建议先使用随机森林作为基线模型，再尝试 LightGBM 提升精度，最后用 Stacking 融合两者优势。每次切换集成策略时，需重新评估促销特征的 SHAP 重要性，确保模型行为符合业务逻辑。