2. 分箱与LightGBM的兼容性

这一章我们来聊一个很实际的问题——分箱之后的特征，LightGBM 到底买不买账？

我刚开始用 LightGBM 的时候，也纠结过：好不容易把连续特征切成了几段，到底要不要做 One-Hot？直接扔进去会不会有问题？后来做了几个项目才明白，分箱和 LightGBM 其实是天生一对。它的直方图算法，说白了就是把连续值切成 bin 来训练——你事先切好，它拿过来就用，省了一道工序。

你想想看，如果我们能理解 LightGBM 怎么“看待”离散特征，很多预处理上的纠结就自然解开了。

2.1 LightGBM 为何偏爱离散特征

咱们先看看 LightGBM 的训练机制。它用的直方图算法（Histogram-based algorithm），在构建决策树时不会逐个扫描原始数值，而是先把特征值分到若干个桶（bin）里，再基于这些桶来寻找最佳分裂点。

举个例子：年龄特征原本有 100 个不同的值，LightGBM 默认会把它切到 255 个 bin 里（这是默认参数 max_bin=255）。但如果你的年龄已经提前分成了 5 个区间（比如 0-18, 18-35, 35-50, 50-65, 65+），那 LightGBM 只需要在 5 个 bin 上做分裂搜索——计算量从 100 降到 5，速度当然快。

我在项目里遇到过一组用户活跃度数据，原始特征连续值接近 2000 个，分箱到 10 个区间后，LightGBM 训练时间从 47 秒降到了 11 秒，AUC 还微涨了 0.003。为什么？因为分箱本身带了一点正则化效果，减少了过拟合的风险。

2.2 分箱后特征的三种处理路径

特征分箱完了，怎么喂给 LightGBM？我见过不少团队在这步走弯路。其实就三条路，选对了事半功倍。

标签编码 是我个人最常用的方式。比如年龄分箱成 0、1、2、3、4，直接作为整数特征输入。LightGBM 在分裂时会按 0→1→2→3→4 的顺序扫描，每个 bin 作为一个候选分裂点，既保留了顺序信息，又不增加维度。

直接数值输入 其实也 OK，但有一个细节：如果你的分箱是用 1、10、100 这种跳跃值编码的，LightGBM 会认为 100 比 10 大很多，在分裂时可能会把 100 单独切出来。我建议要么用 0、1、2、3 这种连续整数，要么在参数里声明 categorical_feature，告诉模型这是类别特征。

One-Hot 编码 要慎用。LightGBM 虽然能处理稀疏数据，但如果你分箱数太多（比如把连续特征切成 100 个区间再 One-Hot），维度膨胀反而会拖慢训练。我曾经接手过一个信贷评分项目，前同事把年龄分箱后做了 One-Hot，特征从 12 维爆到 87 维，训练时间翻了一倍。换成标签编码后，效果没降，速度快了 60%。

2.3 分箱特征如何加速训练

为什么分箱后的特征在 LightGBM 里跑得快？咱们从算法底层看一下。

直方图算法在寻找最佳分裂点时，只需要遍历每个 bin 的边界，而不是每个样本的值。假设一个特征有 N 个样本，分箱后有 K 个 bin：

• 未分箱： 需要扫描 N 个候选分裂点 → 复杂度 O(N)
• 分箱后： 只需要扫描 K+1 个候选分裂点 → 复杂度 O(K)

当 N 是百万级、K 是几十级的时候，差距是几个数量级。LightGBM 的直方图算法本来就在做“离散化”，你提前分好了箱，它就不需要再算一遍每个特征的边界值，直方图构建这一步几乎零成本。

下面这张图展示了分箱特征在直方图算法中的流动路径：

从图中可以看到，分箱后的特征直接“跳过了”LightGBM 内部的二次离散化步骤，直方图构建变成了简单的 bin 映射。这也是为什么我建议在数据预处理阶段就把分箱做好——不是 LightGBM 不能自己做，而是你提前做了，它能跑得更快。

2.4 实战中的特征处理建议

讲了这么多原理，最后给几条可以直接用的建议。

1. 有序特征用标签编码：年龄、收入、时长这类天然有序的特征，分箱后直接用 0, 1, 2, 3... 输入，LightGBM 会按顺序扫描 bin 边界。
2. 无序特征声明为 categorical：城市、职业这类无序特征，分箱后建议在 lgb.Dataset 里通过 categorical_feature 参数声明，让 LightGBM 按类别分裂。
3. 控制 bin 数量在 10~50 之间：分箱太少会丢失信息，分箱太多又失去了加速优势。我在实践中发现 10~20 个 bin 效果最好。
4. 不要对分箱后的特征做 One-Hot：除非你真的需要处理无序特征且分箱数很少（比如 < 5 类），否则直接数值输入或标签编码更高效。

下面这段代码展示了分箱后特征如何输入 LightGBM：

import lightgbm as lgb
import pandas as pd
import numpy as np

# 假设 age 已分箱为 5 个区间：0,1,2,3,4
# income 已分箱为 4 个区间：0,1,2,3
# education 为无序类别：0,1,2

df = pd.DataFrame({
    'age_bin': [0, 2, 1, 3, 4, 0, 2, 1, 3, 4],
    'income_bin': [1, 3, 2, 0, 4, 2, 1, 3, 0, 2],
    'education_bin': [0, 1, 0, 2, 1, 0, 2, 1, 0, 1]
})
y = [0, 1, 0, 1, 1, 0, 1, 0, 1, 0]

# 构建数据集时声明 categorical 特征
train_data = lgb.Dataset(
    df,
    label=y,
    categorical_feature=['education_bin']  # 无序特征声明为类别型
)

params = {
    'objective': 'binary',
    'metric': 'auc',
    'min_data_in_bin': 5,   # 每个 bin 最少样本数
    'min_data_in_leaf': 10, # 每个叶子最少样本数
    'max_bin': 255,         # 保持默认，但分箱特征实际用不到这么多
    'learning_rate': 0.05,
    'num_leaves': 31
}

model = lgb.train(params, train_data, num_boost_round=200)

注意代码里的 categorical_feature 参数。我习惯把无序的分箱特征声明为类别型，这样 LightGBM 在处理时不会错误地假设数值大小关系。有序特征则不用声明，直接当数值输入就行。