4. 特征工程入门:特征构造思路、WOE编码、IV值筛选、特征相关性分析
特征工程是风险定价模型从“原始数据”到“有效信号”的核心桥梁。本章聚焦于四个关键环节:特征构造(生成新变量)、WOE编码(将类别变量转化为单调风险序)、IV值筛选(量化预测力并剔除弱变量)、特征相关性分析(避免多重共线性导致模型不稳定)。
实操要点:在风险定价场景中,特征工程的目标不是“变量越多越好”,而是“每个变量都有明确的业务含义和稳定的预测能力”。建议在IV筛选后保留10-20个核心特征进入建模。
4.1 特征构造思路
特征构造通常从以下三个维度展开:
- 业务衍生:基于信贷逻辑生成比率、差值、交叉特征。例如:
负债收入比 = 总负债 / 月收入、额度使用率 = 已用额度 / 授信总额度。 - 时间序列聚合:对历史行为进行统计聚合。例如:近3个月逾期次数、近6个月平均消费金额、最大逾期天数。
- 分箱与非线性变换:对连续变量进行分箱(等距、等频、决策树分箱),或取对数、平方根以压缩长尾分布。
案例:某消费金融产品在原始数据中只有“月收入”和“月还款额”两个字段。通过构造
还款负担率 = 月还款额 / 月收入,该特征的IV值从0.02(弱)提升至0.35(强),显著提升了模型区分度。
4.2 WOE编码
WOE(Weight of Evidence,证据权重)是一种将类别变量或分箱后的连续变量转换为单调数值的编码方式,在信用评分卡模型中广泛使用。其核心思想是用“好客户占比 / 坏客户占比”的对数比率来反映每个分箱的风险水平。
WOE计算公式:
WOE_i = ln( (Good_i / Good_total) / (Bad_i / Bad_total) )
其中:
Good_i:第i个分箱中“好客户”数量Bad_i:第i个分箱中“坏客户”数量Good_total:全部好客户数量Bad_total:全部坏客户数量
避坑提示:当某个分箱中好或坏客户数量为0时,WOE会趋向无穷大。建议对空箱进行合并,或使用平滑处理(如加1平滑)。
WOE编码的三大优势:
- 单调性:WOE值随风险水平单调变化,便于逻辑回归等线性模型直接使用。
- 标准化:所有特征被映射到同一量纲(对数比率尺度),方便比较。
- 缺失值处理:缺失值可单独作为一个分箱,计算其WOE值,无需额外插补。
| 年龄分箱 | 好客户数 | 坏客户数 | 好占比 | 坏占比 | WOE |
|---|---|---|---|---|---|
| 18-25 | 800 | 200 | 0.16 | 0.40 | -0.916 |
| 26-35 | 1500 | 180 | 0.30 | 0.36 | -0.182 |
| 36-45 | 1400 | 80 | 0.28 | 0.16 | 0.560 |
| 46-55 | 900 | 30 | 0.18 | 0.06 | 1.099 |
| 56+ | 400 | 10 | 0.08 | 0.02 | 1.386 |
4.3 IV值筛选
IV(Information Value,信息量)用于衡量特征对好坏客户的区分能力。IV值越高,特征的预测能力越强。IV的计算基于WOE:
IV = Σ ( (Good_i/Good_total - Bad_i/Bad_total) × WOE_i )
IV值评判标准:
| IV值范围 | 预测能力 | 处理建议 |
|---|---|---|
| < 0.02 | 无预测力 | 直接剔除 |
| 0.02 - 0.10 | 弱 | 可保留,但需结合业务判断 |
| 0.10 - 0.30 | 中等 | 建议保留 |
| 0.30 - 0.50 | 强 | 优先保留 |
| > 0.50 | 极强(需警惕过拟合) | 检查是否包含未来信息或数据泄露 |
筛选策略:在实际项目中,通常保留IV > 0.02且IV < 0.50的特征。对于IV > 0.50的特征,务必进行业务复核,确认其逻辑合理性,避免“数据挖掘陷阱”。
4.4 特征相关性分析
特征之间的高度相关性会导致多重共线性,使模型系数不稳定、解释性下降。常用的相关性分析方法包括:
- 皮尔逊相关系数:衡量线性相关,适用于连续变量。取值范围[-1, 1]。
- 斯皮尔曼秩相关系数:衡量单调相关,适用于有序变量或非线性关系。
- 方差膨胀因子(VIF):量化多重共线性程度。VIF > 10表示存在严重共线性。
相关性处理原则:
- 若两个特征相关系数绝对值 > 0.7,建议只保留IV值较高的一个。
- 若一组特征业务含义高度重叠(如“近3月逾期次数”和“近6月逾期次数”),可考虑保留覆盖周期更全或IV更高的特征。
- 对于VIF > 10的特征,优先删除,或使用PCA、岭回归等方法降维。
实操建议:在完成IV筛选和相关性分析后,建议输出一份“特征筛选报告”,包含每个特征的IV值、与目标变量的相关系数、与其他特征的强相关列表。这份报告既是模型文档的一部分,也是后续特征监控的基线。