2、特征工程总览:特征工程在评分卡建模中的核心地位、特征处理流程
在信用评分卡建模中,原始数据几乎无法直接用于逻辑回归或机器学习算法。缺失值、异常值、量纲差异、非线性关系以及高维稀疏等问题,都会导致模型失效或过拟合。特征工程正是解决这些问题的系统性工程,它决定了评分卡模型性能的上限。
核心观点:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。在评分卡场景中,特征工程的质量直接决定了模型的区分能力(KS/AUC)、稳定性(PSI)以及业务可解释性。
2.1 特征工程在评分卡中的核心地位
评分卡模型通常采用逻辑回归作为底层算法,其对输入特征有严格的要求:
- 线性关系假设:逻辑回归假设特征与目标变量的对数几率呈线性关系,而原始特征往往是非线性的。
- 缺失值敏感:逻辑回归无法自动处理缺失值,需要预先填充或作为单独类别处理。
- 异常值影响:极端值会严重扭曲模型系数,导致评分卡权重不合理。
- 量纲统一:不同量纲的特征(如年龄0-100 vs 收入0-100万)会导致系数可比性差,且影响正则化效果。
- 业务可解释性:评分卡要求每个特征分箱后赋予明确的分数,原始连续值无法直接生成整数分数。
特征工程通过一系列转换,将原始数据转化为满足上述要求的、具有强预测能力和稳定性的特征集合,是评分卡建模中最耗时但回报最高的环节。
行业经验:在银行或消费金融的评分卡项目中,特征工程通常占据整个建模周期 60%-80% 的时间。跳过或简化特征工程直接建模,往往会导致模型在验证集上表现良好,但在上线后快速衰减。
2.2 特征处理四大流程
评分卡特征工程遵循一套标准化的处理流程,通常包含四个核心阶段:数据清洗、特征构造、特征选择、特征分箱。每个阶段解决不同的问题,且顺序不可逆。
| 阶段 | 核心目标 | 主要操作 | 输出产物 |
|---|---|---|---|
| 数据清洗 | 保证数据质量与一致性 | 缺失值处理、异常值截断、重复值去重、格式统一 | 干净、可用的基础数据集 |
| 特征构造 | 增强信息表达与预测能力 | 衍生变量、交叉特征、聚合统计、时间窗口特征 | 高维、信息丰富的候选特征集 |
| 特征选择 | 降维、去噪、提升泛化能力 | IV筛选、相关性分析、LASSO、随机森林重要性 | 精简、有效的特征子集 |
| 特征分箱 | 离散化、线性化、增强稳定性 | 等距分箱、等频分箱、卡方分箱、决策树分箱 | 分箱后的WOE编码特征 |
下图展示了特征工程在评分卡建模中的完整位置与内部流程关系:
2.3 各流程关键要点
2.3.1 数据清洗
数据清洗是特征工程的基石。在评分卡场景中,常见的清洗操作包括:
- 缺失值处理:对于缺失率超过 70% 的特征直接删除;对于缺失率较低的特征,根据业务含义填充(均值、中位数、众数或单独类别)。
- 异常值截断:使用箱线图(IQR)或百分位数法(如 1% 和 99% 分位数)对极端值进行截断,避免模型被少数极端样本主导。
- 重复值去重:删除完全重复的样本记录,防止数据泄露或样本权重失衡。
- 格式统一:将日期、字符串、类别编码等统一为标准格式,便于后续处理。
2.3.2 特征构造
特征构造是提升模型区分能力的关键。常用的构造方法包括:
- 衍生变量:基于业务逻辑生成新特征,如“收入负债比”、“近3个月查询次数”、“信用卡使用率”。
- 交叉特征:将两个或多个特征组合,如“年龄 × 收入等级”、“职业 × 学历”。
- 聚合统计:对时间序列数据进行窗口聚合,如“近6个月平均消费金额”、“最大逾期天数”。
- WOE转换:在分箱后,将每个箱体映射为WOE(Weight of Evidence)值,实现特征与目标变量的线性化。
2.3.3 特征选择
特征选择旨在从大量候选特征中筛选出对预测最有贡献的子集,避免维度灾难和过拟合。常用方法分为三类:
| 方法类别 | 代表算法 | 适用场景 |
|---|---|---|
| 过滤法 | IV值、卡方检验、方差阈值 | 快速初筛,适用于大规模特征集 |
| 包裹法 | 递归特征消除(RFE)、前向选择 | 特征数较少时追求最优子集 |
| 嵌入法 | LASSO回归、随机森林重要性 | 兼顾特征选择与模型训练 |
避坑提示:特征选择时务必使用训练集计算IV或重要性,避免在全体数据上选择特征导致未来信息泄露。同时,要关注特征之间的多重共线性(VIF > 10 的特征需谨慎保留)。
2.3.4 特征分箱
特征分箱是评分卡建模区别于普通机器学习模型的标志性步骤。它将连续变量离散化为若干个箱体,每个箱体赋予一个WOE值,从而实现:
- 处理非线性关系:分箱后WOE与目标变量呈单调关系,满足逻辑回归的线性假设。
- 增强模型稳定性:离散化后的特征对异常值和数据波动不敏感,PSI(群体稳定性指标)更优。
- 业务可解释性:每个箱体对应一个分数,便于业务人员理解和审批决策。
常见的分箱方法包括等距分箱、等频分箱、卡方分箱和决策树分箱。其中,卡方分箱和决策树分箱能够自动寻找最优切分点,是工业界的主流选择。
最佳实践:在分箱完成后,务必检查每个箱体的坏样本率是否呈现单调趋势。如果出现“先升后降”或“先降后升”的非单调情况,需要手动合并或调整分箱边界,以保证评分卡权重的业务合理性。