4. 单变量变换衍生：对数变换、平方根变换、Box-Cox变换、标准化与归一化

单变量变换是特征工程中最基础、最常用的手段之一。它通过数学函数改变原始特征的分布形态或尺度，使数据更符合模型假设、提升模型性能与可解释性。本章将系统讲解四种核心变换方法及其适用场景。

4.1 为什么需要单变量变换？

原始特征往往存在以下问题，直接影响模型效果与解释稳定性：

  • 偏态分布：长尾分布使模型对极端值敏感，难以捕捉主体规律。
  • 异方差性：方差随预测值变化，违反线性模型假设。
  • 尺度差异大：不同特征量纲悬殊，导致梯度下降不稳定、正则化失效。
  • 非线性关系：原始尺度下特征与目标呈非线性，变换后可线性化。
核心原则：变换的目标是让数据更接近“对称、同方差、可加”的理想状态，从而提升模型的可解释性与预测稳定性。

4.2 四种核心变换方法详解

变换方法 数学形式 适用数据类型 主要作用 注意事项
对数变换 y = log(x + c) 正数、右偏态、计数数据 压缩长尾、稳定方差、处理乘法关系 输入必须 > 0；c 为偏移常数
平方根变换 y = √(x + c) 计数数据、轻度偏态 弱化偏态、稳定泊松分布方差 输入 ≥ 0；比对数变换温和
Box-Cox变换 y = (x^λ - 1)/λ 正数、自动寻找最优变换 自动优化正态性、通用性强 输入必须 > 0；λ 需估计
标准化 (Z-score) y = (x - μ)/σ 任意分布、需比较特征 去均值、单位方差、消除量纲 不改变分布形状
归一化 (Min-Max) y = (x - min)/(max - min) 有界区间、需保持相对距离 缩放到 [0,1] 区间 对异常值敏感

4.3 变换效果对比图

下图直观展示了不同变换对右偏态数据的处理效果，帮助理解各变换的压缩强度与形态变化：

单变量变换效果对比（右偏态数据） 原始分布 右偏、长尾 方差随值增大 异常值影响大 模型解释困难 对数变换 强压缩长尾 稳定方差 乘法→加法 需 x > 0 平方根变换 温和压缩 适合计数数据 稳定泊松方差 需 x ≥ 0 Box-Cox变换 自动寻优 λ 通用性强 需 x > 0 含对数/幂特例 标准化与归一化：不改变分布形状，仅调整尺度和位置 标准化：y = (x - μ)/σ → 均值为0，标准差为1 | 归一化：y = (x - min)/(max - min) → 缩放到[0,1] 选择建议速查 强右偏 → 对数变换 | 计数/轻度偏态 → 平方根变换 | 自动寻优 → Box-Cox变换 消除量纲影响 → 标准化 | 保持有界区间 → 归一化

4.4 何时使用何种变换？

选择变换方法需结合数据分布特征、模型类型与业务解释需求。以下给出具体场景的决策路径：

4.4.1 基于分布形态的选择

  • 强右偏态（偏度 > 1.5）：优先使用对数变换。例如：用户收入、网页停留时长、交易金额。
  • 中度右偏态（偏度 0.5~1.5）：尝试平方根变换。例如：点击次数、购买频次。
  • 未知最优变换：使用Box-Cox变换自动估计 λ 参数，λ=0 时为对数变换，λ=0.5 时为平方根变换。

4.4.2 基于模型类型的选择

模型类型 推荐变换 原因
线性回归、逻辑回归 标准化 / 对数变换 满足同方差、正态性假设；系数可解释
KNN、SVM、神经网络 标准化 / 归一化 消除量纲影响，加速收敛
树模型（RF、GBDT） 通常不需要变换 对尺度不敏感，但变换可提升可解释性
泊松回归、计数模型 平方根变换 稳定方差，符合泊松分布假设

4.4.3 基于业务解释需求的选择

  • 对数变换：将乘法关系转化为加法关系，系数可解释为“百分比变化”。例如：收入每增加1%，购买概率增加 β 个单位。
  • 标准化：系数可解释为“每增加一个标准差，目标变化多少”，适合特征重要性比较。
  • 归一化：保持原始比例关系，适合距离度量场景。
实战建议：在模型可解释性项目中，优先尝试对数变换和标准化。对数变换能有效处理长尾特征，且变换后的系数具有直观的百分比解释意义，极大提升模型的可沟通性。

4.5 变换的代码实现

以下代码展示了四种变换在 Python 中的标准实现方式：

import numpy as np
import pandas as pd
from scipy import stats
from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 示例数据：右偏态特征
x = np.random.exponential(scale=2, size=1000)

# 1. 对数变换（需 x > 0）
x_log = np.log(x + 1)  # +1 避免 log(0)

# 2. 平方根变换（需 x ≥ 0）
x_sqrt = np.sqrt(x)

# 3. Box-Cox变换（自动寻优 λ）
x_boxcox, lambda_opt = stats.boxcox(x + 1)  # +1 保证正数
print(f"最优 λ 值: {lambda_opt:.3f}")

# 4. 标准化（Z-score）
scaler_std = StandardScaler()
x_standardized = scaler_std.fit_transform(x.reshape(-1, 1)).flatten()

# 5. 归一化（Min-Max）
scaler_mm = MinMaxScaler()
x_normalized = scaler_mm.fit_transform(x.reshape(-1, 1)).flatten()

# 对比变换前后的偏度
print(f"原始偏度: {stats.skew(x):.3f}")
print(f"对数变换偏度: {stats.skew(x_log):.3f}")
print(f"平方根变换偏度: {stats.skew(x_sqrt):.3f}")
print(f"Box-Cox变换偏度: {stats.skew(x_boxcox):.3f}")
print(f"标准化偏度: {stats.skew(x_standardized):.3f}")
print(f"归一化偏度: {stats.skew(x_normalized):.3f}")

4.6 变换的注意事项与陷阱

常见陷阱：
  • 零值问题：对数变换和 Box-Cox 变换要求输入严格为正，需先加偏移常数 c（通常取 1 或 min(x)+1）。
  • 负值问题：平方根变换要求 x ≥ 0；若存在负值，需先平移或使用 Yeo-Johnson 变换（Box-Cox 的扩展）。
  • 过拟合风险：Box-Cox 变换的 λ 参数需在训练集上估计，测试集需使用相同的 λ，避免数据泄露。
  • 可解释性损失：变换后的特征物理含义可能改变，需在模型解释时说明变换方式。

4.7 变换在模型可解释性中的价值

单变量变换不仅提升模型性能，更直接服务于可解释性：

  • 系数可比性：标准化后，线性模型的系数可直接比较特征重要性。
  • 百分比解释：对数变换后的系数可解释为弹性（elasticity），便于业务理解。
  • SHAP 值稳定性：变换后的特征分布更对称，SHAP 值的分布更集中，解释结果更可靠。
  • 分箱基础：变换后的数据更适合进行等宽或等频分箱，提升分箱后的解释一致性。
← 上一章 📖 返回目录 下一章 →