1. 分箱基础:什么是特征分箱?为什么需要分箱?
1.1 特征分箱的定义
特征分箱(Binning / Discretization)是将连续型变量或取值过多的离散型变量,按照某种规则划分为有限个区间(箱)的过程。每个区间内的样本被赋予同一个类别值或分数,从而将原始数值特征转化为有序的分类特征。
核心思想:用“区间”代替“精确数值”,在保留数据分布信息的同时,降低特征的复杂度与噪声敏感性。
1.2 为什么需要分箱?
在风控与评分卡模型中,分箱不是可选项,而是构建稳定、可解释、高区分度模型的必要步骤。主要原因包括:
| 维度 | 原始连续特征的问题 | 分箱后的优势 |
|---|---|---|
| 非线性关系 | 线性模型(如逻辑回归)无法直接捕捉特征与目标之间的 U 型、阶梯型等非线性模式 | 分箱后每个箱独立估计 WOE/权重,自动拟合非线性关系 |
| 异常值敏感 | 极端值会严重拉偏均值、方差,导致模型不稳定 | 分箱将异常值归入首尾箱,消除极端值对整体分布的干扰 |
| 缺失值处理 | 缺失值无法直接参与线性运算,常需单独插补 | 缺失值可单独作为一个箱,保留缺失信息,无需插补 |
| 模型可解释性 | “年龄每增加 1 岁,违约概率变化 0.3%”难以向业务解释 | “年龄在 30-40 岁区间,违约概率为 12%”直观可理解 |
| 过拟合风险 | 连续特征容易在稀疏区域拟合噪声,泛化能力差 | 分箱压缩特征取值空间,减少模型自由度,提升泛化性 |
1.3 分箱在风控与评分卡模型中的核心作用
评分卡模型(Scorecard)是银行、消费金融、互联网金融中最主流的信用评估工具。分箱在评分卡建模流程中处于承上启下的关键位置:
- 计算 WOE(Weight of Evidence,证据权重):分箱是计算 WOE 的前提,每个箱的 WOE 值衡量该箱内好/坏样本的分布差异,是评分卡变量筛选与赋分的核心输入。
- 保证单调性:风控模型要求特征与违约概率之间保持单调关系(如收入越高,违约率越低)。分箱后通过合并相邻箱,可以强制或校正特征的单调性,使评分卡逻辑符合业务常识。
- 变量稳定性监控:分箱后的特征可以计算 PSI(Population Stability Index,群体稳定性指标),用于监控模型上线后特征分布是否发生漂移,是模型生命周期管理的基础。
- 评分映射:评分卡最终将每个箱的 WOE 值乘以系数后映射为整数分数,分箱的边界直接决定了评分粒度和区分度。
行业经验:在评分卡建模中,通常要求每个箱至少包含 5% 的样本,且箱数控制在 4-8 箱之间。过少的分箱会损失信息,过多的分箱则容易过拟合且难以保证单调性。
1.4 分箱流程总览
下图展示了特征分箱在评分卡建模中的完整流程与核心产出:
1.5 分箱的常见误区
避坑指南:
- 误区一:分箱越多越好。实际上箱数过多会导致每个箱样本稀疏,WOE 估计不稳定,模型泛化能力下降。
- 误区二:分箱后直接使用原始数值建模。分箱后应使用 WOE 编码或箱序号编码,而非保留原始数值。
- 误区三:忽略业务含义。分箱边界应尽量落在整数或业务可解释的阈值上(如年龄 18、25、30、40、50),避免出现 23.7 岁这样的边界。
- 误区四:分箱后不做单调性校验。风控模型要求特征与风险方向一致,分箱后必须检查并校正单调性。
1.6 分箱类型速查
| 分箱方法 | 原理 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| 等距分箱 | 将特征值范围均匀划分为 k 个区间 | 数据分布均匀、无极端异常值 | 实现简单,边界固定 | 对偏态分布效果差,箱内样本可能严重不均 |
| 等频分箱 | 每个箱包含相同数量的样本 | 样本量充足,分布偏态 | 箱内样本均衡,WOE 估计稳定 | 边界可能落在密集区域,区分度下降 |
| 决策树分箱 | 用单变量决策树寻找最优分裂点 | 追求最大区分度 | 自动捕捉非线性关系,区分度高 | 容易过拟合,需设置最小样本数约束 |
| 卡方分箱 | 基于卡方检验合并相邻箱,直到满足停止条件 | 需要保证单调性 | 自动保证单调性,统计意义明确 | 计算复杂度较高,对样本量敏感 |
| 自定义分箱 | 根据业务经验或监管要求手动设定边界 | 业务规则强、监管合规要求高 | 完全可解释,符合业务逻辑 | 依赖专家经验,可能不是最优统计切分 |
实践建议:在风控评分卡项目中,通常先使用等频分箱作为初始分箱,再结合卡方分箱或决策树分箱进行边界优化,最后根据业务含义和单调性要求进行人工微调。这种“统计+业务”的混合策略是工业界最成熟的做法。