4. 离散化与连续变量分箱：等距分箱、等频分箱、自定义分箱、分箱的优缺点对比
连续变量分箱（Binning）是将连续型特征划分为若干个离散区间（箱）的过程，是特征工程中最重要的预处理手段之一。合理的分箱不仅能降低模型过拟合风险、增强模型鲁棒性，还能将非线性关系转化为线性关系，提升逻辑回归、线性SVM等线性模型的表达能力。本节系统讲解三种主流分箱方法及其适用场景。
核心认知：分箱的本质是用分段常数函数逼近原始连续分布。好的分箱应使箱内样本分布均匀、箱间差异显著、且与目标变量保持强相关性。
4.1 等距分箱（Equal-Width Binning）
等距分箱将变量的取值范围均匀划分为 k 个等宽区间，每个区间的宽度相同。箱的边界由最小值、最大值和箱数决定。
计算公式：
箱宽度 = (Max - Min) / k
第 i 个箱的区间：[Min + (i-1)*宽度, Min + i*宽度)实现步骤：
- 确定箱数 k（通常通过业务经验或交叉验证选择）。
- 计算变量最大值与最小值的差值。
- 按等宽划分区间边界。
- 将每个样本映射到对应区间。
Python 实现示例：
import pandas as pd
import numpy as np
def equal_width_binning(data, column, k=5):
"""等距分箱"""
min_val = data[column].min()
max_val = data[column].max()
bins = np.linspace(min_val, max_val, k+1)
labels = [f'Bin_{i+1}' for i in range(k)]
data[f'{column}_binned'] = pd.cut(data[column], bins=bins, labels=labels, include_lowest=True)
return data, bins
适用场景：等距分箱适用于数据分布均匀、无极端异常值的场景，如年龄、温度、时间戳等自然尺度变量。当数据存在长尾分布时，等距分箱会导致大部分样本集中在少数箱中，信息损失严重。
4.2 等频分箱（Equal-Frequency Binning）
等频分箱使每个箱包含大致相同数量的样本，箱的边界由分位数决定。这种方法能保证每个箱的样本量均衡，避免出现空箱或样本稀疏的箱。
实现步骤：
- 确定箱数 k。
- 计算变量在 k 等分点处的分位数（百分位数）。
- 以分位数作为箱边界。
- 将样本映射到对应区间。
Python 实现示例：
def equal_frequency_binning(data, column, k=5):
"""等频分箱"""
quantiles = np.linspace(0, 1, k+1)
bins = data[column].quantile(quantiles).values
# 处理重复边界（当数据存在大量重复值时）
bins = np.unique(bins)
labels = [f'Bin_{i+1}' for i in range(len(bins)-1)]
data[f'{column}_binned'] = pd.cut(data[column], bins=bins, labels=labels, include_lowest=True)
return data, bins
注意事项：当数据中存在大量重复值时，等频分箱可能无法严格保证每个箱样本量相等，因为重复值必须划分到同一个箱中。此时应优先使用自定义分箱或先对重复值做去重处理。
4.3 自定义分箱（Custom Binning）
自定义分箱完全由业务专家或数据分析师根据领域知识、业务逻辑或模型需求手动设定箱边界。这是最灵活、最可控的分箱方式，也是金融风控、医疗诊断等强监管领域的首选方法。
常见自定义分箱策略：
- 业务规则驱动：如信用评分中将年龄分为[18-25)、[25-35)、[35-50)、[50-65)、[65+]。
- 单调性约束：确保每个箱的坏样本率（或目标均值）呈单调递增或递减趋势。
- 最小样本量约束：每个箱至少包含总样本的5%或至少100个样本。
- 特殊值处理：将缺失值、异常值单独成箱。
Python 实现示例：
def custom_binning(data, column, cut_points, labels=None):
"""自定义分箱，cut_points为边界列表"""
bins = [-np.inf] + cut_points + [np.inf]
if labels is None:
labels = [f'Bin_{i+1}' for i in range(len(bins)-1)]
data[f'{column}_binned'] = pd.cut(data[column], bins=bins, labels=labels, include_lowest=True)
return data
最佳实践：在金融风控建模中，通常先使用等频分箱作为初始分箱，然后结合IV（信息价值）和WOE（证据权重）进行手动调整，最终形成满足单调性、业务可解释性的自定义分箱方案。
4.4 三种分箱方法对比
下表从多个维度对三种分箱方法进行系统对比：
| 对比维度 | 等距分箱 | 等频分箱 | 自定义分箱 |
|---|---|---|---|
| 分箱依据 | 数值范围等宽 | 样本数量等分 | 业务/统计规则 |
| 箱内样本分布 | 可能极不均匀 | 均匀 | 可控 |
| 对异常值敏感度 | 高 | 低 | 可灵活处理 |
| 业务可解释性 | 中 | 低 | 高 |
| 自动化程度 | 高 | 高 | 低（需人工干预） |
| 信息损失风险 | 高（长尾分布时） | 中 | 低（可精细调整） |
| 适用模型 | 树模型、线性模型 | 线性模型、评分卡 | 评分卡、强监管模型 |
| 实现复杂度 | 低 | 低 | 高 |
4.5 分箱的优缺点总结
分箱的核心优势：
- 处理非线性关系：将连续变量的非线性模式转化为离散的线性分段，提升线性模型拟合能力。
- 降低过拟合：减少变量取值粒度，使模型更关注整体趋势而非局部噪声。
- 增强鲁棒性：对异常值和测量误差不敏感，单个样本的微小波动不会改变其所属箱。
- 提升可解释性：离散化后的变量更容易与业务规则对应，如“年龄在30-40岁之间”比“年龄=35.7岁”更直观。
- 缺失值处理：可将缺失值单独作为一个箱，避免插值带来的偏差。
分箱的主要缺点：
- 信息损失：将连续值替换为离散标签，丢失了箱内的精细差异。
- 边界效应：位于箱边界附近的样本可能因微小变化而跳入相邻箱，影响模型稳定性。
- 箱数选择困难：箱数过少导致信息损失严重，箱数过多则失去分箱意义，需要交叉验证或业务经验确定。
- 过拟合风险：自定义分箱时若过度拟合训练数据，可能导致分箱边界在测试集上失效。
经验法则：对于样本量小于10万的场景，推荐箱数在5-10之间；对于大样本（百万级以上），箱数可适当增加至10-20。始终保留至少一个“其他”箱用于捕获异常值。
4.6 分箱流程与决策逻辑
下图展示了在实际建模中选择分箱方法的完整决策流程：
4.7 分箱效果评估指标
选择分箱方案后，需通过以下指标评估分箱质量：
| 指标 | 计算公式 | 理想值 | 说明 |
|---|---|---|---|
| IV（信息价值） | Σ(好样本占比 - 坏样本占比) × WOE | > 0.02 | 衡量变量对目标变量的区分能力 |
| WOE（证据权重） | ln(好样本占比 / 坏样本占比) | 单调递增/递减 | 反映每个箱的风险水平 |
| 卡方检验 p 值 | Σ(观测值 - 期望值)² / 期望值 | < 0.05 | 检验相邻箱的目标分布是否有显著差异 |
| 箱内样本占比 | 箱内样本数 / 总样本数 | ≥ 5% | 避免箱过小导致统计不稳定 |
分箱质量检查清单：
- 每个箱的样本量是否满足最小阈值？
- WOE值是否呈现单调性（对于评分卡模型）？
- 相邻箱的坏样本率是否有显著差异（卡方检验）？
- 缺失值是否被单独处理？
- 分箱边界是否与业务常识一致？
在实际建模中，分箱不是一次性操作，而是一个迭代优化过程。建议先使用等频分箱快速生成初始方案，然后结合IV、WOE和业务逻辑进行手动调整，最终形成满足模型性能和业务可解释性的自定义分箱方案。