4. 特征工程入门:特征构造方法、WOE与IV值计算、特征筛选原则、特征稳定性评估
特征工程是风控评分卡建模中最具技术含量与业务价值的环节。原始数据通常无法直接用于逻辑回归或决策树,必须经过构造、编码、筛选与稳定性验证,才能转化为稳定且可解释的预测变量。本章将系统讲解特征工程的核心四步:特征构造、WOE与IV值计算、特征筛选原则以及特征稳定性评估。
4.1 特征构造方法
特征构造的目标是从原始字段中衍生出对违约风险具有区分能力的新变量。常见方法分为三类:
| 类别 | 方法 | 示例 |
|---|---|---|
| 数值变换 | 对数、平方根、倒数、Box-Cox | 收入取 log(收入+1) 消除长尾 |
| 交叉组合 | 加减乘除、比率、笛卡尔积 | 负债 / 收入 → 负债收入比 |
| 时间窗口 | 滚动统计、趋势、波动率 | 近6个月逾期次数 / 近3个月查询次数 |
业务经验优先:特征构造不应盲目堆砌。优先从信贷生命周期(申请、行为、催收)出发,构造与还款能力、还款意愿强相关的变量,如“收入负债比”、“近3个月最大逾期天数”。
以下是一个典型的特征构造流程示意图,展示从原始字段到衍生变量的转化路径:
4.2 WOE与IV值计算
WOE(Weight of Evidence,证据权重)是风控评分卡中最常用的特征编码方式,IV(Information Value,信息量)则用于衡量特征对目标变量的区分能力。
4.2.1 WOE计算公式
WOE_i = ln( (Bad_i / Bad_total) / (Good_i / Good_total) )
其中:
- Bad_i:第 i 个分箱中坏样本数
- Good_i:第 i 个分箱中好样本数
- Bad_total:全体坏样本数
- Good_total:全体好样本数
WOE单调性要求:在评分卡建模中,WOE值应随特征取值单调递增或递减。若出现U型或倒U型,通常需要重新分箱或考虑特征变换。
4.2.2 IV值计算与判断标准
IV = Σ ( (Bad_i / Bad_total) - (Good_i / Good_total) ) * WOE_i
| IV值范围 | 区分能力 | 处理建议 |
|---|---|---|
| < 0.02 | 无预测力 | 建议剔除 |
| 0.02 ~ 0.10 | 弱 | 可保留,需结合业务判断 |
| 0.10 ~ 0.30 | 中等 | 常用特征,优先保留 |
| 0.30 ~ 0.50 | 强 | 高区分力,注意过拟合风险 |
| > 0.50 | 可疑 | 可能泄漏目标变量,需复核 |
注意:IV值过高(>0.5)的特征往往存在数据泄漏或过拟合风险,例如“是否已经逾期”这类事后变量。务必结合业务逻辑进行复核。
4.3 特征筛选原则
特征筛选需要在预测力、稳定性、可解释性与业务合理性之间取得平衡。以下是风控场景中通用的筛选原则:
- IV值阈值过滤:剔除 IV < 0.02 的特征,保留 IV ≥ 0.02 的特征。
- 缺失率控制:缺失率超过 70% 的特征直接剔除;缺失率在 30%~70% 的特征需评估缺失原因。
- 多重共线性检测:计算 VIF(方差膨胀因子),VIF > 10 的特征需考虑剔除或合并。
- 业务可解释性:拒绝黑箱特征,例如“综合评分A乘以综合评分B”这类无法解释的交叉项。
- 单调性检查:WOE 应呈现单调趋势,非单调特征需重新分箱或剔除。
4.4 特征稳定性评估
风控模型上线后,特征分布会随时间变化。稳定性评估的核心指标是 PSI(Population Stability Index,群体稳定性指标)。
4.4.1 PSI计算公式
PSI = Σ ( (Actual_i - Expected_i) * ln(Actual_i / Expected_i) )
其中:
- Actual_i:当前样本在第 i 个分箱中的占比
- Expected_i:建模样本在第 i 个分箱中的占比
4.4.2 PSI判断标准
| PSI值范围 | 稳定性 | 建议措施 |
|---|---|---|
| < 0.10 | 稳定 | 无需处理 |
| 0.10 ~ 0.25 | 轻度偏移 | 需监控,评估是否需要调整 |
| > 0.25 | 严重偏移 | 必须重新建模或特征替换 |
监控频率建议:对于核心特征(如收入、负债比),建议每周计算一次 PSI;对于辅助特征,可每月计算一次。当 PSI 连续两周超过 0.15 时,应触发预警。
以下示意图展示了特征稳定性监控的完整闭环:
4.5 本章小结
特征工程是评分卡建模的基石。通过合理的特征构造、WOE/IV编码与筛选、以及PSI稳定性监控,可以显著提升模型的预测精度与鲁棒性。在实际项目中,建议遵循以下工作流:
- 第一步:基于业务理解构造候选特征池
- 第二步:计算WOE与IV,初步筛选IV≥0.02的特征
- 第三步:检查多重共线性与缺失率,剔除冗余特征
- 第四步:在验证集上计算PSI,确保特征分布稳定
- 第五步:上线后持续监控PSI,建立预警机制
核心原则:特征工程不是一次性工作,而是伴随模型全生命周期的持续优化过程。每一次特征迭代都应记录WOE、IV与PSI的变化,形成可追溯的特征版本管理。