3、单变量基础变换：对数变换、平方根变换、Box-Cox变换的数学原理与适用场景

在特征工程中，单变量变换是处理偏态分布、稳定方差、改善模型线性假设的核心手段。本章聚焦三种最常用的幂次族变换：对数变换、平方根变换和Box-Cox变换，从数学原理出发，明确各自的适用边界与实操要点。

3.1 对数变换（Log Transformation）

数学原理

对数变换将原始变量 \( x \) 映射为 \( \ln(x) \) 或 \( \log_{10}(x) \)。其核心数学性质包括：

• 压缩右尾：对数函数在 \( x \to 0^+ \) 时斜率极大，在 \( x \to +\infty \) 时斜率趋近于 0，因此能大幅压缩大值、拉伸小值。
• 乘法变加法：\( \ln(a \cdot b) = \ln(a) + \ln(b) \)，将乘法关系转化为线性关系。
• 弹性解释：在回归模型中，\( \beta \) 表示 百分比变化（半弹性），即 \( x \) 变化 1% 时 \( y \) 变化 \( \beta/100 \) 个单位。

适用场景

3.2 平方根变换（Square Root Transformation）

数学原理

平方根变换定义为 \( \sqrt{x} \) 或 \( \sqrt{x + 0.5} \)。其压缩强度介于对数变换与原始尺度之间：

• 中等压缩：对右尾的压缩弱于对数变换，但对左尾的拉伸也更温和。
• 方差稳定：当原始数据服从 Poisson 分布（方差 = 均值）时，\( \sqrt{x} \) 能使方差近似为常数 0.25。
• 零值友好：\( \sqrt{0} = 0 \)，无需额外偏移，适合计数数据。

适用场景

3.3 Box-Cox 变换

数学原理

Box-Cox 变换是幂次变换的参数化家族，由统计学家 George Box 和 David Cox 于 1964 年提出。其定义如下：

Box-Cox 变换公式：
y(λ) = 
  (x^λ - 1) / λ,   若 λ ≠ 0
  ln(x),            若 λ = 0

其中 x > 0，λ 为待估参数。

关键性质：

• 连续性：当 \( \lambda \to 0 \) 时，\( (x^\lambda - 1)/\lambda \to \ln(x) \)，因此对数变换是 Box-Cox 的特例。
• 参数估计：通过最大似然估计（MLE）或最小化残差方差选择最优 \( \lambda \)。
• 常见 λ 值：\( \lambda = 1 \)（无变换）、\( \lambda = 0.5 \)（平方根）、\( \lambda = 0 \)（对数）、\( \lambda = -1 \)（倒数）。

适用场景

3.4 三种变换对比总览

3.5 变换效果对比示意图

下图展示了三种变换对同一组右偏数据（模拟收入分布）的处理效果对比：

3.6 实操建议与代码示例

变换选择流程

1. 检查数据范围：若含零或负值，考虑 Yeo-Johnson 或加偏移量。
2. 计算偏度：偏度 > 1.5 优先对数；0.5~1.5 尝试平方根或 Box-Cox。
3. 尝试 Box-Cox：使用 MLE 自动搜索最优 λ，观察 λ 的置信区间。
4. 验证效果：检查变换后的直方图、Q-Q 图、方差齐性检验。
5. 业务解释：若需向非技术人员解释，优先选择对数或平方根。

Python 实现示例

import numpy as np
from scipy import stats
from sklearn.preprocessing import PowerTransformer

# 生成右偏数据
np.random.seed(42)
data = np.random.exponential(scale=2, size=1000)

# 1. 对数变换
log_data = np.log(data + 1e-6)  # 加极小值避免 log(0)

# 2. 平方根变换
sqrt_data = np.sqrt(data)

# 3. Box-Cox 变换（自动搜索最优 λ）
boxcox_data, best_lambda = stats.boxcox(data + 1e-6)
print(f"最优 λ: {best_lambda:.3f}")

# 4. 使用 sklearn 的 PowerTransformer（推荐）
pt = PowerTransformer(method='box-cox', standardize=False)
boxcox_sklearn = pt.fit_transform(data.reshape(-1, 1))
print(f"sklearn 估计 λ: {pt.lambdas_[0]:.3f}")

# 检查偏度变化
print(f"原始偏度: {stats.skew(data):.3f}")
print(f"对数变换偏度: {stats.skew(log_data):.3f}")
print(f"平方根变换偏度: {stats.skew(sqrt_data):.3f}")
print(f"Box-Cox 变换偏度: {stats.skew(boxcox_data):.3f}")

3.7 常见陷阱与避坑指南