3. 变量衍生概述:特征工程与变量衍生的区别、衍生变量的类型、衍生策略与业务理解

变量衍生(Feature Derivation)是模型可解释性工程中承上启下的关键环节。它并非简单的特征筛选,而是基于原始数据与业务逻辑,主动创造新的、更具解释力的预测变量。本章将厘清变量衍生与特征工程的边界,系统梳理衍生变量的三大类型,并建立“业务理解驱动衍生策略”的核心思维。

3.1 特征工程与变量衍生的区别

在数据科学实践中,“特征工程”与“变量衍生”常被混用,但二者在目标、操作粒度与可解释性上存在本质差异。下表从四个维度进行对比:

对比维度 特征工程(Feature Engineering) 变量衍生(Feature Derivation)
核心目标 提升模型预测性能(AUC、LogLoss) 增强变量业务含义与模型可解释性
操作对象 原始字段 + 衍生字段 原始字段 + 业务规则
典型操作 标准化、缺失值填充、独热编码、PCA降维 比率计算、时间窗口聚合、业务组合、分箱
可解释性影响 可能降低(如PCA成分无直接含义) 通常提升(变量有明确业务标签)
关键认知:变量衍生是特征工程的一个子集,但更强调“业务语义优先”。一个优秀的衍生变量,应当让业务人员看到变量名就能理解其含义,例如“近3个月逾期次数占比”优于“PCA_comp_1”。

3.2 衍生变量的三大类型

根据数据变换与组合方式,衍生变量可归纳为三类:组合型、变换型与聚合型。下图展示了三类衍生变量的核心逻辑与典型示例。

衍生变量三大类型与核心逻辑 组合型 (Combination) • 加减乘除运算 • 比率 / 占比 • 交叉特征 • 业务评分卡组合 示例 负债收入比 = 总负债 / 月收入 收入等级 × 职业类型 变换型 (Transformation) • 对数 / 指数变换 • 平方根 / 倒数 • 分箱 / 离散化 • 排序 / 秩变换 示例 log(收入 + 1) 年龄分箱:[18-25] 逾期天数排序百分位 聚合型 (Aggregation) • 时间窗口统计 • 分组均值 / 中位数 • 计数 / 频率 • 最大 / 最小 / 标准差 示例 近6个月平均消费 近3个月最大逾期天数 历史申请次数

3.3 组合型衍生:从业务比率到交叉特征

组合型衍生是最直观、最易解释的变量创造方式。其核心思想是:两个或多个原始变量的比值或运算结果,往往比单个变量更具预测力。

  • 比率类:负债收入比(DTI)、贷款价值比(LTV)、费用收入比。这类变量天然具有“归一化”效果,消除量纲影响。
  • 交叉类:收入等级 × 职业类型、年龄组 × 婚姻状况。交叉特征能捕捉变量间的交互效应,在决策树与逻辑回归中尤为重要。
  • 业务评分类:根据业务规则对多个字段加权求和,如“信用评分卡”中的基础分 + 收入分 + 职业分。
实战建议:在风控模型中,负债收入比 通常比单独的“总负债”或“月收入”具有更高的IV(信息价值)和更稳定的业务解释性。优先从业务比率开始衍生。

3.4 变换型衍生:处理偏态与非线性

变换型衍生主要解决原始变量的分布偏态与非线性关系问题。常见的变换操作包括:

变换类型 适用场景 可解释性影响
对数变换(log) 收入、金额等长尾分布 中等:需业务理解“对数尺度”
分箱(Binning) 年龄、信用分等连续变量 高:每个箱有明确业务标签
平方根变换 计数数据(如逾期次数) 中等:方差稳定化
秩变换(Rank) 异常值敏感的场景 高:排序位置易于理解

分箱是变换型衍生中与可解释性结合最紧密的操作。通过将连续变量划分为若干区间,每个区间赋予一个业务含义(如“低风险”、“中风险”、“高风险”),模型输出可直接映射为业务决策。

3.5 聚合型衍生:时间窗口与群体统计

聚合型衍生是结构化数据中最具信息密度的变量来源,尤其适用于时序数据与分层数据。其核心逻辑是:在某个维度(时间、群体)上对原始记录进行统计汇总。

  • 时间窗口聚合:近3个月、近6个月、近12个月的均值、最大值、最小值、标准差、趋势斜率。窗口长度需结合业务周期确定。
  • 群体聚合:按职业分组计算平均收入、按地区分组计算平均逾期率。群体聚合变量能反映个体在群体中的相对位置。
  • 计数聚合:历史申请次数、近30天登录次数、近1年逾期次数。计数类变量直接反映行为频率。
避坑提示:聚合型衍生容易引入“未来信息”或“数据泄露”。例如,使用全量历史数据计算均值时,若包含未来记录,则会造成训练集与测试集的信息穿越。务必在时间窗口上严格限定“仅使用截止当前时刻的历史数据”。

3.6 衍生策略与业务理解:从业务逻辑到变量设计

变量衍生不是盲目的数学游戏,而是业务理解驱动的结构化设计过程。以下是一个经过验证的四步衍生策略框架:

  1. 业务拆解:将预测目标拆解为可量化的业务子维度。例如,信用风险可拆解为“还款能力”、“还款意愿”、“稳定性”三个维度。
  2. 变量映射:为每个业务子维度寻找或创造可观测的代理变量。例如,“还款能力”可映射为“负债收入比”、“可用额度”、“收入稳定性指数”。
  3. 变换与组合:对原始变量进行必要的变换(如对数、分箱)和组合(如比率、交叉),使其更符合模型假设与业务解释需求。
  4. 可解释性验证:检查衍生变量是否具有清晰的业务含义,是否与目标变量呈现单调或可解释的关系(如通过分箱后的WOE趋势图验证)。

下图展示了从业务理解到衍生变量输出的完整流程:

业务理解驱动的变量衍生流程 业务拆解 目标 → 子维度 变量映射 子维度 → 代理变量 变换与组合 衍生变量生成 可解释性 验证与迭代 反馈迭代:若可解释性不足,返回调整变量映射或变换策略 核心原则 每个衍生变量都必须能回答“这个变量在业务上代表什么?”

3.7 本章小结

  • 变量衍生 ≠ 特征工程:前者以业务解释性为核心,后者以模型性能为核心。
  • 三大衍生类型:组合型(比率/交叉)、变换型(对数/分箱)、聚合型(时间窗口/群体统计),各有适用场景与解释性特征。
  • 业务理解是起点:衍生策略必须从业务拆解出发,经过变量映射、变换组合、可解释性验证的闭环迭代。
  • 分箱是连接衍生与可解释性的桥梁:下一章将深入分箱技术,展示如何通过分箱将连续变量转化为高解释性的离散变量。