2. LightGBM 核心原理回顾
LightGBM 之所以在工业界和竞赛中广受欢迎，核心在于它对传统 GBDT 的训练效率与内存占用做了四项关键革新。理解这些原理是后续进行模型解释性分析的基础。
2.1 Leaf-wise 树生长策略
传统 GBDT（如 XGBoost）采用 Level-wise 按层生长策略：同一层的所有节点都分裂后，才进入下一层。这种策略虽然易于并行化，但很多节点分裂增益很低，浪费了计算资源。
LightGBM 采用 Leaf-wise 策略：每次从当前所有叶子中，选择分裂增益最大的叶子进行分裂，而不是按层生长。
核心差异对比：
| 对比维度 | Level-wise（传统） | Leaf-wise（LightGBM） |
|---|---|---|
| 生长方式 | 按层同步分裂 | 按增益选择最优叶子分裂 |
| 计算效率 | 低（大量无效分裂） | 高（聚焦高增益节点） |
| 模型精度 | 一般 | 更高（相同迭代次数下） |
| 过拟合风险 | 较低 | 较高（需限制树深/叶子数） |
⚠️ 实践注意： Leaf-wise 策略容易生长出深度不平衡的树。必须配合
max_depth 或 num_leaves 参数控制复杂度，否则小数据集上极易过拟合。
2.2 直方图算法
传统 GBDT 在寻找最佳分裂点时，需要遍历所有特征的所有取值（预排序算法），计算复杂度为 O(#data × #feature)。LightGBM 使用直方图算法将连续特征离散化为 k 个桶（bins），大幅降低计算量。
算法流程：
- 分桶：将每个连续特征的值域划分为 k 个离散区间（默认 255 个桶）。
- 统计：遍历数据，统计每个桶内的梯度之和、样本数量。
- 搜索：在 k 个桶上遍历寻找最优分裂点，复杂度降为 O(k × #feature)。
💡 内存优势： 直方图算法只需存储离散的桶计数（整型），而非原始浮点特征值。对于 255 个桶，每个特征仅需 1 字节/样本，内存占用降低 8 倍以上。
2.3 GOSS（梯度单边采样）
GOSS 是一种数据采样技术，核心思想是：梯度大的样本（训练误差大）包含更多信息，应保留；梯度小的样本可以随机丢弃一部分。
采样策略：
- 按梯度绝对值降序排列所有样本。
- 保留 top a% 的大梯度样本（全部保留）。
- 从剩余小梯度样本中随机采样 b%。
- 对小梯度样本的贡献乘以权重系数 (1-a)/b，以补偿采样偏差。
默认参数：
top_rate=0.2（保留 20% 大梯度样本），other_rate=0.1（从剩余 80% 中采样 10%）。最终训练样本量仅为原始数据的 28%，但精度损失极小。
2.4 EFB（互斥特征捆绑）
EFB 是一种特征降维技术，核心观察是：高维稀疏特征中，很多特征不会同时取非零值（互斥）。将这些互斥特征捆绑成一个新特征，可大幅减少特征数量。
实现步骤：
- 构建图：以特征为节点，若两个特征同时非零的样本数超过阈值，则连边。
- 贪心捆绑：用贪心算法将互斥特征分组（染色问题近似解）。
- 合并特征：对每组内的特征添加偏移量（如原特征值域为 [0,10]，偏移后变为 [10,20]），确保合并后不冲突。
2.5 四大技术总结
| 技术 | 核心思想 | 优化维度 | 效果 |
|---|---|---|---|
| Leaf-wise | 按增益选择最优叶子分裂 | 树结构 | 精度更高，但需防过拟合 |
| 直方图算法 | 连续特征离散化为桶 | 计算/内存 | 速度提升 5~10 倍，内存降低 8 倍 |
| GOSS | 保留大梯度样本，采样小梯度样本 | 数据量 | 训练样本减少 70%+，精度损失小 |
| EFB | 捆绑互斥特征 | 特征维度 | 特征数减少，加速训练 |