2. 特征工程基础:定义、目标与核心流程
特征工程(Feature Engineering)是将原始数据转化为能够更有效表示业务问题、并被机器学习模型理解与学习的过程。在模型风险管理(Model Risk Management, MRM)框架下,特征工程不仅是提升模型性能的手段,更是控制模型风险的第一道防线。
2.1 特征工程的定义与目标
定义:特征工程是利用领域知识与数学变换,从原始数据中提取、构造、选择并监控对模型预测目标有显著影响的变量(特征)的系统性方法。
核心目标:
- 提升预测性能:增强信号,降低噪声,提高模型的准确率与泛化能力。
- 增强可解释性:构造具有业务含义的特征,使模型决策逻辑可追溯、可理解。
- 降低过拟合风险:通过特征选择剔除冗余与无关变量,控制模型复杂度。
- 确保稳定性:监控特征分布随时间的变化,及时发现数据漂移,防范模型失效。
MRM 视角:特征工程的质量直接影响模型验证的结论。一个特征定义不清晰、逻辑不透明或分布不稳定的模型,在风险分类上往往会被判定为“高风险”或“不可接受”。
2.2 特征工程核心流程
特征工程并非一次性活动,而是一个包含四个关键环节的迭代闭环。下图展示了特征工程在模型开发与监控中的完整流程:
2.3 特征构建(Feature Construction)
特征构建是利用业务逻辑与领域知识,从原始数据中生成新特征的过程。这是特征工程中最具创造性的环节,也是模型风险的主要来源之一。
常见方法:
| 方法 | 描述 | MRM 关注点 |
|---|---|---|
| 聚合统计 | 对时间序列或分组数据计算均值、方差、最大值、最小值等 | 聚合窗口长度是否合理?是否存在未来信息泄露? |
| 交叉特征 | 将两个或多个特征进行乘积、比值或逻辑组合 | 交叉后特征维度爆炸,需控制复杂度 |
| 时间窗口特征 | 基于滑动窗口计算滚动统计量(如近30天交易总额) | 窗口边界定义需与业务周期对齐,避免前瞻偏差 |
| 业务比率 | 如负债收入比、贷款价值比等标准化指标 | 比率分母为零时的处理策略需明确 |
风险提示:特征构建阶段最容易引入“数据泄露”(Data Leakage)。例如,使用未来信息构造历史特征,会导致模型在验证时表现虚高,上线后大幅衰减。所有特征构建逻辑必须在时间轴上严格对齐。
2.4 特征提取(Feature Extraction)
特征提取通过数学变换将原始高维数据映射到低维空间,同时保留尽可能多的有效信息。在金融风控场景中,特征提取常用于处理文本、图像、时序等非结构化数据。
常用技术:
- 主成分分析(PCA):线性降维,适用于数值型特征高度相关的场景。
- 独热编码(One-Hot Encoding):将类别型特征转化为二进制向量。
- 目标编码(Target Encoding):用目标变量的后验概率或均值替换类别值,需配合交叉验证防止过拟合。
- 嵌入(Embedding):如 Word2Vec、实体嵌入,用于高基数类别特征。
MRM 最佳实践:特征提取方法的选择应记录在模型文档中。对于 PCA 等不可逆变换,需保留变换矩阵,以便在模型验证时复现特征计算过程。
2.5 特征选择(Feature Selection)
特征选择从原始特征集中筛选出对模型预测最有贡献的子集,是控制模型复杂度、降低过拟合风险的核心手段。
三类方法对比:
| 方法类别 | 代表算法 | 优点 | MRM 风险 |
|---|---|---|---|
| 过滤法(Filter) | 卡方检验、互信息、方差阈值 | 计算快,独立于模型 | 可能忽略特征间的交互作用 |
| 包装法(Wrapper) | 递归特征消除(RFE)、前向选择 | 考虑特征组合效果 | 计算成本高,易过拟合 |
| 嵌入法(Embedded) | Lasso(L1正则化)、树模型特征重要性 | 选择与训练同步进行 | 正则化强度需调参,否则可能欠拟合 |
2.6 特征监控(Feature Monitoring)
特征监控是模型风险管理中持续监控环节的核心组成部分。模型上线后,特征分布的变化是模型性能衰减的最早信号。
关键监控指标:
- 群体稳定性指标(PSI):衡量特征分箱后分布的变化程度。PSI < 0.1 表示稳定,0.1-0.25 需关注,> 0.25 表示显著漂移。
- 特征重要性衰减:对比模型训练时与当前时期的特征重要性排序变化。
- 缺失率变化:特征缺失比例突然上升可能暗示数据采集链路故障。
- 业务逻辑校验:如年龄出现负值、收入超过合理阈值等异常值检测。
MRM 联动:当特征监控触发预警时,模型风险管理流程应启动“模型复核”或“模型回退”机制。特征监控报告是模型持续监控(Ongoing Monitoring)的必备交付物。
2.7 特征工程与模型风险管理的关联总结
| 特征工程环节 | 关联的模型风险类型 | 风险缓释措施 |
|---|---|---|
| 特征构建 | 数据泄露、可解释性不足 | 严格时间轴对齐、特征文档化 |
| 特征提取 | 信息损失、变换不可逆 | 保留变换参数、验证可复现性 |
| 特征选择 | 过拟合、业务逻辑丢失 | 交叉验证选择、保留业务关键特征 |
| 特征监控 | 模型失效、分布漂移 | PSI 阈值预警、定期重训练 |
特征工程不是模型开发中的“预处理步骤”,而是贯穿模型全生命周期的风险管理活动。一个经过精心设计、严格验证和持续监控的特征体系,是模型获得监管认可与业务信任的基础。