1. 分箱基础概念
1.1 什么是变量分箱
变量分箱(Binning) 是将连续型变量或离散值较多的分类变量,按照某种规则划分为有限个区间(箱)的过程。每个箱对应一个离散的类别或数值段,用于替代原始变量参与建模。
核心定义: 分箱 = 将原始变量的取值空间分割为 k 个互不相交的子区间,每个子区间称为一个“箱”(Bin)。
示例: 年龄变量(18–100岁)分箱为:
- 箱1: [18, 25) → 青年
- 箱2: [25, 35) → 年轻中年
- 箱3: [35, 45) → 中年
- 箱4: [45, 55) → 中老年
- 箱5: [55, 100] → 老年
1.2 分箱的目的与意义
| 目的 | 说明 | 风控价值 |
|---|---|---|
| 处理非线性关系 | 原始变量与目标(如违约)之间往往不是线性关系,分箱可捕捉分段效应 | 提升模型对复杂模式的拟合能力 |
| 降低噪声与过拟合 | 连续变量中的微小波动可能引入噪声,分箱后变量更稳定 | 增强模型泛化性能 |
| 处理缺失值与异常值 | 缺失值可单独成箱,异常值可合并到边界箱 | 避免数据清洗导致的信息损失 |
| 提升模型可解释性 | 分箱后的变量以“年龄段”“收入段”等业务语义呈现 | 便于业务人员理解与监管合规 |
| 标准化变量尺度 | 不同量纲的变量经分箱后统一为离散类别 | 简化模型训练与特征融合 |
经验法则: 风控评分卡模型中,每个变量通常分 3–7 箱。箱数太少会丢失信息,箱数太多则失去分箱意义。
1.3 分箱在风控模型中的作用
在信用评分卡、申请评分模型、行为评分模型等风控场景中,分箱是特征工程的核心环节,直接影响模型效果与业务落地。
1.4 分箱的常见类型
| 分箱类型 | 方法 | 适用场景 | 优缺点 |
|---|---|---|---|
| 等距分箱 | 按变量值域等间隔划分 | 变量分布均匀时 | 简单直观,但易受异常值影响 |
| 等频分箱 | 每个箱包含相同数量的样本 | 变量分布偏态时 | 箱内样本均衡,但可能割裂业务含义 |
| 最优分箱 | 基于目标变量(如违约率)的统计检验 | 风控评分卡建模 | 信息保留好,但计算复杂度高 |
| 业务分箱 | 依据业务经验或监管要求划分 | 有明确业务规则时 | 可解释性最强,但可能忽略数据分布 |
注意: 分箱不是越多越好。箱数过多会导致每个箱内样本稀疏,统计意义下降;箱数过少则可能丢失重要区分信息。建议结合 IV(信息量)和业务可解释性综合确定最优箱数。
1.5 分箱效果的评估指标
- IV(Information Value,信息量): 衡量变量对目标变量的区分能力。IV < 0.02 为弱预测力,0.02–0.1 为中等,0.1–0.3 为强,> 0.3 需警惕过拟合。
- WOE(Weight of Evidence,证据权重): 每个箱内好/坏样本比与整体好/坏样本比的对比,反映该箱的风险水平。
- 单调性: 分箱后各箱的违约率应呈现单调递增或递减趋势,符合业务逻辑。
- 卡方检验: 相邻箱之间的分布差异是否显著,用于判断是否可合并。
分箱黄金准则: 每个箱至少包含 5% 的样本,且好/坏样本数均不少于 30 个,以保证统计稳定性。