2. LightGBM算法原理：梯度提升决策树回顾、LightGBM的直方图算法、Leaf-wise生长策略、GOSS与EFB技术
在催收特征筛选中，LightGBM 凭借其高效训练与低内存占用成为首选工具。理解其核心原理，是正确配置特征重要性计算与防止过拟合的前提。本节从梯度提升决策树（GBDT）出发，逐步拆解 LightGBM 的四大关键技术。
2.1 梯度提升决策树（GBDT）回顾
GBDT 是一种迭代式集成算法，每一棵新树拟合前一轮预测的负梯度（即残差）。对于催收评分卡场景，GBDT 能自动捕捉特征间的非线性交互，如“逾期天数 × 历史还款次数”的组合效应。
| 概念 | 说明 | 催收场景示例 |
|---|---|---|
| 基学习器 | CART 回归树，每棵树输出连续值 | 预测客户失联概率 |
| 损失函数 | 分类用 LogLoss，回归用 MSE | 二分类：是否入催 |
| 加法模型 | 逐步累加树，每步只优化当前残差 | 先拟合基础特征，再修正异常样本 |
| 负梯度拟合 | 用当前残差作为下一棵树的标签 | 对高逾期客户加大惩罚权重 |
关键点：传统 GBDT 每轮需要遍历所有特征的所有样本，计算量随数据量线性增长。LightGBM 通过三项改进打破这一瓶颈。
2.2 LightGBM 的直方图算法（Histogram-based Algorithm）
传统 GBDT 采用预排序（Pre-sorted）算法，需要为每个特征维护排序后的索引，内存占用高且耗时长。LightGBM 改用直方图算法：将连续特征离散化为 k 个桶（bin），用直方图统计梯度与 Hessian 之和，从而快速找到最优分裂点。
催收实战收益：直方图算法将特征值从浮点数压缩为整数桶（通常 256 桶），内存占用降低 8 倍以上。对于百万级催收样本，训练时间可从小时级降至分钟级。
2.3 Leaf-wise 生长策略（带深度限制）
传统 GBDT 使用 Level-wise 按层生长，同一层所有节点同时分裂，导致许多低增益节点被不必要地展开。LightGBM 采用 Leaf-wise 策略：每次从当前所有叶子中，选择分裂增益最大的叶子进行分裂，从而在相同迭代次数下获得更低损失。
过拟合风险：Leaf-wise 不加限制时容易生长出深度很大的树。在催收特征筛选中，建议设置
max_depth=5~8 或 num_leaves=31~127，避免模型记住噪声。
2.4 GOSS（梯度单边采样）与 EFB（互斥特征捆绑）
这两项技术是 LightGBM 加速的核心，尤其适合催收数据中常见的样本不均衡与高维稀疏特征场景。
2.4.1 GOSS：梯度单边采样
GOSS 的核心思想是：梯度大的样本（训练不充分的样本）更重要。算法保留全部大梯度样本，对小梯度样本进行随机下采样，同时放大采样权重以保持数据分布。
| 样本类型 | 梯度大小 | GOSS 处理方式 | 催收场景对应 |
|---|---|---|---|
| 大梯度样本 | ｜g｜ 较大 | 全部保留 | 难分样本（如失联客户） |
| 小梯度样本 | ｜g｜ 较小 | 随机采样（保留 a%），权重放大 (1-a)/b | 易分样本（如正常还款客户） |
参数配置：
top_rate=0.2（大梯度保留比例）、other_rate=0.1（小梯度采样比例）。在催收数据中，建议保持默认值，若正负样本极度失衡（如 1:100），可适当增大 top_rate。
2.4.2 EFB：互斥特征捆绑
催收特征工程常产生大量稀疏特征（如 30 天每日通话次数、不同渠道的催收编码）。EFB 将这些互斥（不同时取非零值）的特征捆绑为一个新特征，从而降低特征维度。
催收实战配置：LightGBM 默认开启 EFB（
enable_bundle=true）。当特征维度超过 500 时，EFB 通常能减少 30%~50% 的特征数，显著降低过拟合风险。
2.5 关键技术总结
| 技术 | 解决的问题 | 催收场景收益 | 关键参数 |
|---|---|---|---|
| 直方图算法 | 预排序内存 & 时间开销大 | 百万样本训练时间从小时→分钟 | max_bin=255 |
| Leaf-wise 生长 | Level-wise 无效分裂多 | 相同迭代次数下 AUC 提升 0.01~0.03 | num_leaves=31 |
| GOSS | 样本不均衡导致梯度稀疏 | 聚焦难分催收样本，提升召回率 | top_rate=0.2 |
| EFB | 高维稀疏特征计算慢 | 特征维度降低 30%~50% | enable_bundle=true |