📚 课程目录第4章决策树分箱

4、决策树分箱：基于决策树的分箱原理

4.1 核心原理：利用树模型寻找最优切分点

决策树分箱的核心思想是：将连续变量视为特征，目标变量（二分类或多分类）视为标签，训练一棵浅层决策树，树模型在分裂节点时选择的切分点，即为最优分箱边界。树模型通过最大化信息增益或最小化基尼系数来评估每个候选切分点，从而自动找到对目标变量区分能力最强的分割阈值。

  关键概念对比：
  信息增益（ID3/C4.5）：基于熵的减少量，衡量分裂前后纯度的提升。增益越大，切分点越优。
基尼系数（CART）：衡量数据集的不纯度。基尼系数下降越多，切分点越优。

决策树分箱的优势在于：无需手动指定分箱数量或边界，树模型会根据数据分布自动选择；同时能捕捉非线性关系，对异常值有一定鲁棒性。缺点是容易过拟合，通常需要限制树深度（如 max_depth=3）或叶节点最小样本数。

4.2 实现步骤

使用决策树进行变量分箱通常遵循以下 5 个步骤：

步骤	操作	说明
1	准备数据	提取待分箱的连续特征 X 和目标变量 y（二分类 0/1）
2	训练决策树	使用 `DecisionTreeClassifier`，设置 `max_depth` 控制分箱数量
3	提取切分点	从树模型中获取所有内部节点的 `threshold` 属性
4	排序去重	对切分点排序并去重，得到最终分箱边界
5	映射分箱	使用 `pd.cut()` 将原始值映射到分箱区间

实践建议： 决策树分箱的箱数由 max_depth 间接控制。深度为 3 时最多产生 2³=8 个叶节点，即最多 7 个切分点。通常建议从 max_depth=3 开始尝试，根据业务需求调整。

4.3 Python 代码实现（使用 sklearn.tree）

以下代码演示了如何使用 sklearn.tree.DecisionTreeClassifier 对连续变量进行分箱，并提取切分点：

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier

# 1. 构造示例数据
np.random.seed(42)
n = 1000
age = np.random.uniform(18, 80, n)
# 模拟目标变量：年龄越大，违约概率越高
default_prob = 1 / (1 + np.exp(-0.05 * (age - 50)))
y = np.random.binomial(1, default_prob)

# 2. 训练决策树（限制深度控制分箱数量）
clf = DecisionTreeClassifier(
    max_depth=3,          # 控制分箱数量
    min_samples_leaf=50,  # 每个叶节点最少样本数
    criterion='gini',     # 使用基尼系数
    random_state=42
)
clf = clf.fit(age.reshape(-1, 1), y)

# 3. 提取所有内部节点的切分点
tree = clf.tree_
thresholds = tree.threshold[tree.feature != -2]  # 排除叶节点
thresholds = np.sort(np.unique(thresholds))       # 排序去重

print("决策树自动选择的切分点：", thresholds)

# 4. 将切分点扩展为分箱边界（包含最小值和最大值）
bins = np.concatenate(([age.min()], thresholds, [age.max()]))
print("最终分箱边界：", bins)

# 5. 映射分箱
age_binned = pd.cut(age, bins=bins, include_lowest=True)
print("\n分箱结果示例：")
print(pd.DataFrame({'age': age[:10], 'age_bin': age_binned[:10]}))

输出示例：

决策树自动选择的切分点： [28.34 42.17 56.89 68.45]
最终分箱边界： [18.0 28.34 42.17 56.89 68.45 80.0]

分箱结果示例：
        age          age_bin
0  56.12  (42.17, 56.89]
1  69.78  (68.45, 80.0]
2  46.18  (42.17, 56.89]
3  32.36  (28.34, 42.17]
4  60.84  (56.89, 68.45]

4.4 可视化决策树分箱结构

通过 plot_tree 可以直观看到树模型的分裂过程，每个内部节点都对应一个切分点：

from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(12, 6))
plot_tree(clf, feature_names=['age'], class_names=['good', 'bad'],
          filled=True, rounded=True, fontsize=10)
plt.title("决策树分箱结构（max_depth=3）")
plt.show()

4.5 参数调优与注意事项

参数	推荐值	作用
`max_depth`	2 ~ 4	控制分箱数量，深度越大箱数越多
`min_samples_leaf`	50 ~ 200	防止过拟合，确保每个箱有足够样本
`criterion`	'gini' 或 'entropy'	基尼系数计算快，信息增益对多分类更敏感
`random_state`	固定整数	保证结果可复现

常见陷阱：

过拟合：深度过大（如 max_depth>5）会导致分箱过细，失去泛化能力。
样本不平衡：如果某箱样本极少，建议合并相邻箱或增大 min_samples_leaf。
单调性约束：决策树分箱不保证单调性，若业务需要单调关系，需后续手动调整或使用单调分箱方法。

4.6 决策树分箱 vs 其他分箱方法

方法	优点	缺点	适用场景
决策树分箱	自动选择切分点，捕捉非线性关系	可能过拟合，不保证单调性	特征与目标关系复杂时
等距分箱	简单直观，计算快	对异常值敏感，分布不均时效果差	数据分布均匀时
等频分箱	每箱样本数相等	可能将相同值分到不同箱	需要均衡样本量时
卡方分箱	基于统计显著性，保证单调性	计算复杂度高	信用评分等需要单调性的场景

决策树分箱是连接传统分箱方法与机器学习可解释性的桥梁。它既保留了树模型自动选择切分点的能力，又通过限制深度保证了分箱的可解释性，是特征工程中非常实用的工具。