2. 特征工程基础:定义、目标与核心流程

特征工程(Feature Engineering)是将原始数据转化为能够更有效表示业务问题、并被机器学习模型理解与学习的过程。在模型风险管理(Model Risk Management, MRM)框架下,特征工程不仅是提升模型性能的手段,更是控制模型风险的第一道防线。

2.1 特征工程的定义与目标

定义:特征工程是利用领域知识与数学变换,从原始数据中提取、构造、选择并监控对模型预测目标有显著影响的变量(特征)的系统性方法。

核心目标:

  • 提升预测性能:增强信号,降低噪声,提高模型的准确率与泛化能力。
  • 增强可解释性:构造具有业务含义的特征,使模型决策逻辑可追溯、可理解。
  • 降低过拟合风险:通过特征选择剔除冗余与无关变量,控制模型复杂度。
  • 确保稳定性:监控特征分布随时间的变化,及时发现数据漂移,防范模型失效。
MRM 视角:特征工程的质量直接影响模型验证的结论。一个特征定义不清晰、逻辑不透明或分布不稳定的模型,在风险分类上往往会被判定为“高风险”或“不可接受”。

2.2 特征工程核心流程

特征工程并非一次性活动,而是一个包含四个关键环节的迭代闭环。下图展示了特征工程在模型开发与监控中的完整流程:

特征工程核心流程与模型风险管理闭环 特征构建 领域知识 + 数据合并 特征提取 降维 / 变换 / 编码 特征选择 过滤 / 包装 / 嵌入 特征监控 漂移 / 稳定性 反馈闭环:监控结果驱动特征重构 与模型风险管理的关联 • 特征构建 → 可解释性风险:特征逻辑必须文档化,便于验证团队审查 • 特征选择 → 过拟合风险:选择过程需避免数据泄露,保留业务关键变量 • 特征监控 → 模型失效风险:PSI / 特征重要性衰减是模型退化的早期信号 输出:稳健、可解释、可监控的特征集

2.3 特征构建(Feature Construction)

特征构建是利用业务逻辑与领域知识,从原始数据中生成新特征的过程。这是特征工程中最具创造性的环节,也是模型风险的主要来源之一。

常见方法:

方法 描述 MRM 关注点
聚合统计 对时间序列或分组数据计算均值、方差、最大值、最小值等 聚合窗口长度是否合理?是否存在未来信息泄露?
交叉特征 将两个或多个特征进行乘积、比值或逻辑组合 交叉后特征维度爆炸,需控制复杂度
时间窗口特征 基于滑动窗口计算滚动统计量(如近30天交易总额) 窗口边界定义需与业务周期对齐,避免前瞻偏差
业务比率 如负债收入比、贷款价值比等标准化指标 比率分母为零时的处理策略需明确
风险提示:特征构建阶段最容易引入“数据泄露”(Data Leakage)。例如,使用未来信息构造历史特征,会导致模型在验证时表现虚高,上线后大幅衰减。所有特征构建逻辑必须在时间轴上严格对齐。

2.4 特征提取(Feature Extraction)

特征提取通过数学变换将原始高维数据映射到低维空间,同时保留尽可能多的有效信息。在金融风控场景中,特征提取常用于处理文本、图像、时序等非结构化数据。

常用技术:

  • 主成分分析(PCA):线性降维,适用于数值型特征高度相关的场景。
  • 独热编码(One-Hot Encoding):将类别型特征转化为二进制向量。
  • 目标编码(Target Encoding):用目标变量的后验概率或均值替换类别值,需配合交叉验证防止过拟合。
  • 嵌入(Embedding):如 Word2Vec、实体嵌入,用于高基数类别特征。
MRM 最佳实践:特征提取方法的选择应记录在模型文档中。对于 PCA 等不可逆变换,需保留变换矩阵,以便在模型验证时复现特征计算过程。

2.5 特征选择(Feature Selection)

特征选择从原始特征集中筛选出对模型预测最有贡献的子集,是控制模型复杂度、降低过拟合风险的核心手段。

三类方法对比:

方法类别 代表算法 优点 MRM 风险
过滤法(Filter) 卡方检验、互信息、方差阈值 计算快,独立于模型 可能忽略特征间的交互作用
包装法(Wrapper) 递归特征消除(RFE)、前向选择 考虑特征组合效果 计算成本高,易过拟合
嵌入法(Embedded) Lasso(L1正则化)、树模型特征重要性 选择与训练同步进行 正则化强度需调参,否则可能欠拟合
特征选择三类方法对比 过滤法 独立于模型评估 卡方 / 互信息 速度快 忽略交互 适合初筛 包装法 模型性能驱动 RFE / 前向选择 考虑组合效果 计算成本高 易过拟合 嵌入法 训练中自动选择 Lasso / 树模型 效率与效果平衡 需调正则化参数 工业界首选 计算成本递增 → 效果通常递增 → 风险控制要求递增

2.6 特征监控(Feature Monitoring)

特征监控是模型风险管理中持续监控环节的核心组成部分。模型上线后,特征分布的变化是模型性能衰减的最早信号。

关键监控指标:

  • 群体稳定性指标(PSI):衡量特征分箱后分布的变化程度。PSI < 0.1 表示稳定,0.1-0.25 需关注,> 0.25 表示显著漂移。
  • 特征重要性衰减:对比模型训练时与当前时期的特征重要性排序变化。
  • 缺失率变化:特征缺失比例突然上升可能暗示数据采集链路故障。
  • 业务逻辑校验:如年龄出现负值、收入超过合理阈值等异常值检测。
MRM 联动:当特征监控触发预警时,模型风险管理流程应启动“模型复核”或“模型回退”机制。特征监控报告是模型持续监控(Ongoing Monitoring)的必备交付物。

2.7 特征工程与模型风险管理的关联总结

特征工程环节 关联的模型风险类型 风险缓释措施
特征构建 数据泄露、可解释性不足 严格时间轴对齐、特征文档化
特征提取 信息损失、变换不可逆 保留变换参数、验证可复现性
特征选择 过拟合、业务逻辑丢失 交叉验证选择、保留业务关键特征
特征监控 模型失效、分布漂移 PSI 阈值预警、定期重训练

特征工程不是模型开发中的“预处理步骤”,而是贯穿模型全生命周期的风险管理活动。一个经过精心设计、严格验证和持续监控的特征体系,是模型获得监管认可与业务信任的基础。