2、特征工程总览:特征工程在评分卡建模中的核心地位、特征处理流程

在信用评分卡建模中,原始数据几乎无法直接用于逻辑回归或机器学习算法。缺失值、异常值、量纲差异、非线性关系以及高维稀疏等问题,都会导致模型失效或过拟合。特征工程正是解决这些问题的系统性工程,它决定了评分卡模型性能的上限。

核心观点:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。在评分卡场景中,特征工程的质量直接决定了模型的区分能力(KS/AUC)、稳定性(PSI)以及业务可解释性。

2.1 特征工程在评分卡中的核心地位

评分卡模型通常采用逻辑回归作为底层算法,其对输入特征有严格的要求:

  • 线性关系假设:逻辑回归假设特征与目标变量的对数几率呈线性关系,而原始特征往往是非线性的。
  • 缺失值敏感:逻辑回归无法自动处理缺失值,需要预先填充或作为单独类别处理。
  • 异常值影响:极端值会严重扭曲模型系数,导致评分卡权重不合理。
  • 量纲统一:不同量纲的特征(如年龄0-100 vs 收入0-100万)会导致系数可比性差,且影响正则化效果。
  • 业务可解释性:评分卡要求每个特征分箱后赋予明确的分数,原始连续值无法直接生成整数分数。

特征工程通过一系列转换,将原始数据转化为满足上述要求的、具有强预测能力和稳定性的特征集合,是评分卡建模中最耗时但回报最高的环节。

行业经验:在银行或消费金融的评分卡项目中,特征工程通常占据整个建模周期 60%-80% 的时间。跳过或简化特征工程直接建模,往往会导致模型在验证集上表现良好,但在上线后快速衰减。

2.2 特征处理四大流程

评分卡特征工程遵循一套标准化的处理流程,通常包含四个核心阶段:数据清洗、特征构造、特征选择、特征分箱。每个阶段解决不同的问题,且顺序不可逆。

阶段 核心目标 主要操作 输出产物
数据清洗 保证数据质量与一致性 缺失值处理、异常值截断、重复值去重、格式统一 干净、可用的基础数据集
特征构造 增强信息表达与预测能力 衍生变量、交叉特征、聚合统计、时间窗口特征 高维、信息丰富的候选特征集
特征选择 降维、去噪、提升泛化能力 IV筛选、相关性分析、LASSO、随机森林重要性 精简、有效的特征子集
特征分箱 离散化、线性化、增强稳定性 等距分箱、等频分箱、卡方分箱、决策树分箱 分箱后的WOE编码特征

下图展示了特征工程在评分卡建模中的完整位置与内部流程关系:

特征工程在评分卡建模中的核心地位与处理流程 原始数据输入 特征工程四大核心流程 ① 数据清洗 ② 特征构造 ③ 特征选择 ④ 特征分箱 迭代反馈(可选) WOE编码特征 → 评分卡建模 分箱后特征需满足 单调性与业务合理性

2.3 各流程关键要点

2.3.1 数据清洗

数据清洗是特征工程的基石。在评分卡场景中,常见的清洗操作包括:

  • 缺失值处理:对于缺失率超过 70% 的特征直接删除;对于缺失率较低的特征,根据业务含义填充(均值、中位数、众数或单独类别)。
  • 异常值截断:使用箱线图(IQR)或百分位数法(如 1% 和 99% 分位数)对极端值进行截断,避免模型被少数极端样本主导。
  • 重复值去重:删除完全重复的样本记录,防止数据泄露或样本权重失衡。
  • 格式统一:将日期、字符串、类别编码等统一为标准格式,便于后续处理。

2.3.2 特征构造

特征构造是提升模型区分能力的关键。常用的构造方法包括:

  • 衍生变量:基于业务逻辑生成新特征,如“收入负债比”、“近3个月查询次数”、“信用卡使用率”。
  • 交叉特征:将两个或多个特征组合,如“年龄 × 收入等级”、“职业 × 学历”。
  • 聚合统计:对时间序列数据进行窗口聚合,如“近6个月平均消费金额”、“最大逾期天数”。
  • WOE转换:在分箱后,将每个箱体映射为WOE(Weight of Evidence)值,实现特征与目标变量的线性化。

2.3.3 特征选择

特征选择旨在从大量候选特征中筛选出对预测最有贡献的子集,避免维度灾难和过拟合。常用方法分为三类:

方法类别 代表算法 适用场景
过滤法 IV值、卡方检验、方差阈值 快速初筛,适用于大规模特征集
包裹法 递归特征消除(RFE)、前向选择 特征数较少时追求最优子集
嵌入法 LASSO回归、随机森林重要性 兼顾特征选择与模型训练
避坑提示:特征选择时务必使用训练集计算IV或重要性,避免在全体数据上选择特征导致未来信息泄露。同时,要关注特征之间的多重共线性(VIF > 10 的特征需谨慎保留)。

2.3.4 特征分箱

特征分箱是评分卡建模区别于普通机器学习模型的标志性步骤。它将连续变量离散化为若干个箱体,每个箱体赋予一个WOE值,从而实现:

  • 处理非线性关系:分箱后WOE与目标变量呈单调关系,满足逻辑回归的线性假设。
  • 增强模型稳定性:离散化后的特征对异常值和数据波动不敏感,PSI(群体稳定性指标)更优。
  • 业务可解释性:每个箱体对应一个分数,便于业务人员理解和审批决策。

常见的分箱方法包括等距分箱、等频分箱、卡方分箱和决策树分箱。其中,卡方分箱和决策树分箱能够自动寻找最优切分点,是工业界的主流选择。

最佳实践:在分箱完成后,务必检查每个箱体的坏样本率是否呈现单调趋势。如果出现“先升后降”或“先降后升”的非单调情况,需要手动合并或调整分箱边界,以保证评分卡权重的业务合理性。