2、变量衍生的核心思想：从原始数据到特征空间、信息增益与降维、可解释性与预测精度的平衡
变量衍生（Feature Engineering）的本质是将原始数据中分散、低层次的信息，通过组合、变换与抽象，映射到一个信息密度更高、结构更清晰的特征空间。这一过程并非简单的“造变量”，而是围绕三个核心思想展开的系统工程：信息增益、降维与可解释性-精度平衡。
2.1 从原始数据到特征空间：映射与抽象
原始数据通常以行（样本）和列（原始字段）的形式存在，但字段之间往往存在冗余、噪声或非线性关系。变量衍生通过数学变换或业务组合，将原始数据映射到新的特征空间，使得机器学习算法更容易捕捉到有效的决策边界。
核心映射方式：
- 单变量变换：对数、平方根、Box-Cox 变换，用于修正偏态分布。
- 多变量组合：加减乘除、交叉特征（如年龄×收入）、聚合统计（如用户近30天平均消费）。
- 时间序列抽象：滑动窗口均值、差分、周期性编码（星期几、是否节假日）。
- 类别特征编码：目标编码、计数编码、WOE 编码。
下图展示了从原始数据表到衍生特征空间的典型流程：
2.2 信息增益：衡量衍生变量的“纯度贡献”
并非所有衍生变量都有价值。信息增益（Information Gain）是评估衍生变量对目标变量区分能力的核心指标。在分类任务中，常用 IV（Information Value） 或 基尼增益 来量化。
| 指标 | 计算公式（简化） | 适用场景 | 阈值参考 |
|---|---|---|---|
| IV（信息量） | Σ (好样本占比 - 坏样本占比) × WOE | 二分类信用评分、风控 | <0.02 无效；0.02~0.1 弱；0.1~0.3 中；>0.3 强 |
| 基尼增益 | Gini父 - Σ (样本占比 × Gini子) | 决策树、随机森林分裂点选择 | 越大越好，无固定阈值 |
| 信息熵增益 | H(父) - Σ (样本占比 × H(子)) | ID3、C4.5 决策树 | 越大越好，偏向多值特征 |
实践建议：在衍生变量后，先计算 IV 或基尼增益进行快速筛选，剔除信息量低于阈值的变量，避免噪声进入模型。对于连续变量，需先进行分箱（见后续章节）再计算 IV。
2.3 降维：从“变量多”到“变量精”
衍生变量往往导致特征维度急剧膨胀（例如：100个原始字段通过两两交叉可产生近5000个衍生特征）。降维的目标是在保留大部分信息的前提下，压缩特征空间，防止过拟合并提升训练效率。
降维策略分为两类：
- 特征选择（Filter/Embedded）：基于 IV、卡方检验、L1 正则化（Lasso）直接剔除低贡献变量。
- 特征提取（PCA / Autoencoder）：将原始特征投影到低维子空间，但会损失可解释性。
注意：在风控、医疗等强监管场景中，优先使用特征选择而非 PCA 等黑箱降维方法，以保留业务可解释性。
2.4 可解释性与预测精度的平衡：核心矛盾
变量衍生过程中，可解释性与预测精度往往存在张力。高精度模型（如深度神经网络、XGBoost 深度树）倾向于学习复杂非线性组合，但衍生变量越抽象，业务人员越难理解其含义。
下表总结了不同衍生策略在精度与可解释性上的权衡：
| 衍生策略 | 预测精度提升潜力 | 可解释性保留程度 | 典型场景 |
|---|---|---|---|
| 单变量对数/平方根变换 | 低~中 | 高（物理含义清晰） | 收入、交易金额偏态修正 |
| 业务比率（如负债/收入） | 中 | 高（业务规则明确） | 信用评分、授信额度 |
| 交叉特征（如年龄×职业） | 中~高 | 中（需业务解读） | 营销响应模型 |
| 目标编码 / WOE 编码 | 高 | 低（依赖目标分布） | 高基数类别特征 |
| 深度特征交叉（FM / DNN） | 很高 | 极低（黑箱） | 推荐系统、广告点击率 |
平衡原则：
- 业务优先：优先使用业务可解释的衍生变量（如比率、聚合统计）。
- 分层建模：可解释模型（逻辑回归、决策树）使用简单衍生；集成模型可适度引入复杂交叉。
- 事后解释：若必须使用黑箱衍生，配合 SHAP / LIME 进行特征归因，弥补可解释性缺口。
下图展示了可解释性与预测精度之间的典型权衡曲线：
2.5 本章小结
变量衍生的核心思想可概括为：
- 映射：将原始数据通过业务逻辑与数学变换，提升特征空间的信息密度。
- 增益：用 IV、基尼增益等指标量化每个衍生变量的贡献，剔除噪声。
- 降维：在膨胀的特征空间中做减法，保留精华，防止维度灾难。
- 平衡：在可解释性与预测精度之间找到业务可接受的折中点，避免过度追求精度而牺牲模型透明度。