4. 特征分箱基础：分箱的定义、作用与类型
讲分箱之前，我先问你一个问题：你手头有一列连续值，比如用户年龄或者消费金额，直接扔进模型会怎样？
嗯，LightGBM 虽然能处理连续值，但分箱之后往往效果更好。为什么？
说白了，分箱就是把连续值切成若干段，每段用一个类别代表。
比如年龄：0-18 算“少年”，19-35 算“青年”，36-55 算“中年”，55+ 算“老年”。
这个过程我习惯叫它“数值的粗粒化”。
我在项目里遇到过这样的情况：原始特征有几千个唯一值，LightGBM 训练时的直方图构建会非常慢。分箱之后，分段数降到几十个，训练速度直接翻倍。所以别小看这一步。
4.1 分箱到底在做什么？
分箱的核心操作很简单：给定一个连续变量 X，定义一组边界 bin_edges = [b0, b1, ..., bk]，然后对每个样本 x 找到它落在哪个区间里，并映射成一个整数标签 0, 1, ..., k-1。
数学表达
bin_index(x) = j, if bj ≤ x < b(j+1)
新特征 = bin_index(x)你看，连代码都不复杂。但背后的意义远大于这个映射。
4.2 分箱的三个核心作用
分箱不是随便切一刀。它同时带来三个好处，我一个个说。
4.2.1 离散化：把连续值变成类别
离散化之后，特征就变成了一组有序的类别。
比如“月收入”分成 5 档，模型不再关心 10001 和 10002 之间的微小差异，只关心它属于哪个档位。
这样做的好处是：
- 降低过拟合：连续值上的一点噪声不会导致模型学出奇怪的尖刺
- 提升泛化：同一档内的样本被一视同仁，模型更鲁棒
- 易于解释：业务同学听得懂“高消费人群”而不是“数值大于 1253.7 的人”
我记得有一次跟业务部门对模型，他们指着某个分数说“为什么 1000 元和 1001 元的人预测不一样？”，解释半天。分箱之后，这个问题就不存在了。
4.2.2 非线性映射：自动发现数据中的拐点
连续变量与目标之间往往不是直线关系。
比如年龄对信用违约率的影响：年轻人违约率偏高，中年最低，老年又回升。这种 U 型关系，线性模型抓不住，但分箱可以。
分箱不要求箱内是线性关系，它允许每个箱独立学习一个响应值。这就相当于给了模型一种“分段常数”的非线性能力。
个人经验：在做风控评分卡时，我经常用分箱来捕捉“年龄+负债率”的交叉非线性效应。分箱后的特征做 WOE 编码，比原始数值直接入模效果好很多。
4.2.3 鲁棒性：抗噪声和缺失值
连续值里常出现异常点，比如一个用户的“月消费”突然飙到百万，可能是录入错误。如果直接用原始值，这个坏点会拉偏模型。但分箱后，只要它没有超出最高档边界，就被贴在最大箱里，影响被约束在箱内。
还有缺失值处理。很多分箱方案会给缺失值单独一个箱（比如箱号 -1），这样模型能明确知道缺失是一种信息，而不是强行插补。
我曾经在一个信贷数据集里，某个特征的缺失率达到 20%。我试过分箱后单独给缺失箱，AUC 提升了 0.03。这个技巧很实用。
4.3 分箱的主要类型
分箱不是只有一个切法。不同场景选不同策略。
| 分箱类型 | 原理 | 优点 | 缺点 | 常见应用 |
|---|---|---|---|---|
| 等距分箱 | 将值域等分成 k 段（如 0-100, 100-200） | 实现简单，箱边界直观 | 容易把多数样本塞到中间箱，两端箱样本太少 | 标准化的连续特征 |
| 等频分箱 | 使每个箱包含相同数量的样本 | 每箱样本均衡，模型训练稳定 | 边界可能不自然（比如 1000 元一箱下一个是 1020 元） | 数据分布偏态严重时 |
| 最优分箱 | 基于目标变量的统计检验（如卡方、信息量）自动合并 | 能最大程度保留预测力 | 可能过拟合，且计算成本高 | 评分卡建模、高精度场景 |
| 自定义分箱 | 人工或规则设定边界（如业务阈值） | 可解释性强，符合业务常识 | 依赖经验，可能忽略数据内在模式 | 监管合规、可解释性要求的项目 |
我个人在实战中最常用的是“等频+后合并”。先等频切成 20 箱，然后看每一箱的目标均值，把目标均值相近的相邻箱合并。这样既保证了每箱的样本量，又保留了区分度。
避坑提醒：最优分箱算法（比如决策树分箱）很容易在训练集上找到很多分裂点，但验证集上往往过拟合。我曾经用贪心卡方分箱，给一个特征分出 50 个箱，结果测试集效果反而变差。后来限制最大箱数为 8，才稳定。
4.4 分箱后的处理
分箱完成后，我们得到了离散特征。接下来通常会做两件事：
- 数值映射：给每个箱赋一个代表值，比如箱中位数或箱均值
- 编码转换：one-hot 编码、WOE 编码、Label Encoding 等
如果是 LightGBM，我推荐直接使用 Label Encoding（箱号 0,1,2,...），因为树模型对这种有序类别非常友好。不需要 one-hot，太稀疏了。
4.5 来个直观的流程图
下面这张图把分箱的步骤和类型串起来了。你可以先看整体流程，再看每个分支的细节。
4.6 实际应用中的选择建议
我一般会这样选择分箱策略（按优先级）：
- 先看数据量：数据量很大（百万级）时，等频分箱一次搞定，速度快
- 再看可解释性：如果最终模型要给业务审批用，自定义分箱或等距分箱，边界容易说清楚
- 关注非线性关系：如果特征与目标有明显曲线关系，优先选最优分箱（控制最大箱数）
- 检查缺失值：缺失率大于 5% 时，一定要单独分一个缺失箱
一个小技巧：在做 LightGBM 的分箱时，我通常先用 pandas.qcut 快速做等频分箱，然后用 value_counts 检查每箱样本数，如果某一箱样本数少于总数的 1%，就手动合并到相邻箱。这样既保证统计意义，又避免冷门区间。
4.7 本章小结
分箱不是什么高深技术，但它带来的离散化、非线性映射和鲁棒性，是整个特征工程里性价比最高的操作之一。我见过很多新手直接扔连续值进模型，然后抱怨效果差——其实花 10 分钟分箱，很可能就解了。