2. 单变量基础变换：对数变换、平方根变换、倒数变换、Box-Cox变换的原理与适用场景

在数据预处理阶段，单变量基础变换是最直接、最常用的变量衍生手段。这类变换通过数学函数改变原始特征的分布形态，主要解决以下三类问题：偏态分布校正、方差稳定化以及线性关系增强。本节将系统讲解四种经典变换的原理与适用场景。

2.1 变换的核心目标与选择框架

选择何种变换，取决于原始数据的分布特征与建模需求。下表总结了四种变换的核心属性与适用条件：

2.2 对数变换（Log Transformation）

对数变换是应用最广泛的单变量变换，其核心思想是将乘法关系转化为加法关系，同时压缩变量的尺度。对于右偏分布（长尾在右侧），对数变换能有效拉近极端值与主体数据的距离。

适用场景：

• 收入、房价、点击量等呈指数增长或幂律分布的变量
• 浓度、剂量等物理化学测量值，其效应常与对数呈线性关系
• 时间序列中的增长率，对数差分可转化为平稳序列
• 异方差问题：当残差方差随预测值增大而增大时，对数变换可稳定方差

数学性质：

# 自然对数变换
y_log = np.log(y)

# 以10为底的对数变换
y_log10 = np.log10(y)

# 处理零值的对数变换（log1p）
y_log1p = np.log1p(y)   # 等价于 ln(y + 1)

2.3 平方根变换（Square Root Transformation）

平方根变换是对数变换的温和替代方案，特别适用于计数数据（如事件发生次数、页面访问量）和泊松分布相关的变量。其压缩力度弱于对数变换，但能处理零值。

适用场景：

• 计数数据：如疾病发生次数、客户投诉次数、网页错误数
• 中等偏态分布：偏度系数在1~2之间的变量
• 方差与均值成正比的场景：平方根变换可使方差趋于稳定
• 图像处理中的像素强度：增强低亮度区域的对比度

# 平方根变换
y_sqrt = np.sqrt(y)

# 处理零值（零值开平方仍为0，无需额外处理）
# 对于整数计数数据，有时使用 y_sqrt = np.sqrt(y + 0.5) 避免零值问题

2.4 倒数变换（Reciprocal Transformation）

倒数变换是最强烈的单变量压缩变换，它不仅能改变分布形态，还会反转变量的顺序关系——原始值越大，变换后的值越小。这种特性使其在特定场景下具有独特价值。

适用场景：

• 速率、比率变量：如速度（km/h）、密度（人/km²），倒数后变为时间或面积
• 强右偏且存在物理倒数关系的变量：如电阻与电导、周期与频率
• 极端异常值压缩：当数据中存在数量级差异极大的值时，倒数变换可将其拉回正常范围
• 化学反应速率：阿伦尼乌斯公式中，反应速率常数与温度的倒数呈线性关系

# 倒数变换
y_inv = 1 / y

# 处理接近零的值（防止除以零）
epsilon = 1e-6
y_inv_safe = 1 / (y + epsilon)

2.5 Box-Cox变换（Box-Cox Transformation）

Box-Cox变换是统计学家George Box和David Cox于1964年提出的参数化变换族，它通过一个参数λ自动选择最优变换形式，将对数变换、平方根变换、倒数变换等统一在一个框架下。

数学定义：

# Box-Cox变换公式
# y'(λ) = (y^λ - 1) / λ, 当 λ ≠ 0
# y'(λ) = ln(y),          当 λ = 0

# 使用scipy实现
from scipy import stats
y_boxcox, lambda_opt = stats.boxcox(y)

# lambda_opt 即为自动估计的最优λ值

λ取值与对应变换：

2.6 四种变换的对比与选择流程

下图展示了四种变换在典型右偏分布上的效果对比，以及基于数据特征的选择决策路径：

2.7 变换效果的评估与验证

完成变换后，需通过以下指标验证变换效果：

1. 偏度系数（Skewness）：变换后偏度绝对值应接近0（通常 < 0.5 为良好）
2. 正态性检验：使用Shapiro-Wilk检验或Q-Q图观察分布是否接近正态
3. 方差齐性检验：对于分组数据，使用Levene检验验证方差是否稳定
4. 业务可解释性：变换后的变量是否仍具有业务含义，能否向非技术人员解释

# 变换效果评估示例
from scipy import stats
import numpy as np

# 原始数据
y_original = np.random.exponential(scale=2, size=1000)

# 对数变换
y_log = np.log(y_original + 1)

# 计算偏度
skew_original = stats.skew(y_original)
skew_log = stats.skew(y_log)

print(f"原始偏度: {skew_original:.3f}")
print(f"对数变换后偏度: {skew_log:.3f}")

# 正态性检验
_, p_original = stats.normaltest(y_original)
_, p_log = stats.normaltest(y_log)

print(f"原始数据正态性p值: {p_original:.4f}")
print(f"对数变换后正态性p值: {p_log:.4f}")

2.8 常见问题与避坑指南