4、单变量衍生方法：数学变换（log、sqrt、box-cox），标准化与归一化，分位数映射

单变量衍生是特征工程中最基础、最常用的技术。它不依赖其他特征，仅对单个原始变量施加数学函数或统计变换，以调整其分布形态、尺度或量纲，使其更符合模型假设或提升模型对异常值的鲁棒性。在 XGBoost 实践中，合理的单变量变换能显著减少树模型对极端值的分裂倾向，并加速收敛。

4.1 数学变换：Log、Sqrt 与 Box-Cox

数学变换主要用于处理右偏分布（长尾分布）或方差随均值增大的数据。XGBoost 虽然对单调变换不敏感（因为树模型只关心排序），但变换后的数据能减少树对尾部极端值的过度拟合，提升泛化能力。

import numpy as np
import pandas as pd
from scipy.stats import boxcox
from sklearn.preprocessing import PowerTransformer

# 示例数据
data = pd.DataFrame({'amount': [0, 1, 2, 5, 10, 50, 100, 500, 1000, 5000]})

# Log 变换（加常数处理零值）
data['amount_log'] = np.log1p(data['amount'])

# Sqrt 变换
data['amount_sqrt'] = np.sqrt(data['amount'])

# Box-Cox 变换（自动估计 λ）
pt = PowerTransformer(method='box-cox')
data['amount_boxcox'] = pt.fit_transform(data[['amount']])
print('最佳 λ:', pt.lambdas_[0])

4.2 标准化与归一化

标准化（Z-score）和归一化（Min-Max Scaling）是调整特征尺度的两种经典方法。虽然树模型对特征尺度不敏感（不依赖距离计算），但在以下场景中仍然必要：

• 正则化路径：XGBoost 的 lambda 和 alpha 正则化项对特征尺度敏感，尺度差异过大会导致正则化效果偏向高量级特征。
• 特征交互与线性基学习器：当使用 booster='gblinear' 或特征交叉时，尺度统一是前提。
• 模型对比与可视化：标准化后的特征系数或重要性更具可比性。

from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler

# 标准化
scaler_std = StandardScaler()
data['amount_std'] = scaler_std.fit_transform(data[['amount']])

# 归一化
scaler_mm = MinMaxScaler()
data['amount_mm'] = scaler_mm.fit_transform(data[['amount']])

# Robust Scaling
scaler_rob = RobustScaler()
data['amount_rob'] = scaler_rob.fit_transform(data[['amount']])

4.3 分位数映射

分位数映射（Quantile Transformation）将原始特征映射到目标分布（如均匀分布或正态分布），是一种非参数变换方法。它不依赖任何分布假设，仅基于排序信息，因此对异常值具有天然鲁棒性。

• 均匀分布映射：将特征映射到 [0,1] 区间，输出为原始数据的累积概率（CDF 值）。
• 正态分布映射：先将特征映射到均匀分布，再通过逆正态 CDF 映射到标准正态分布。

分位数映射在 XGBoost 中的核心价值：

1. 消除量纲和分布偏态：无论原始分布如何，输出分布固定为目标分布。
2. 保留排序信息：树模型依赖排序，分位数映射是单调变换，不改变特征与目标之间的单调关系。
3. 处理多模态分布：对于双峰或平坦分布，分位数映射能有效展平数据，帮助树模型找到更稳定的分裂点。

from sklearn.preprocessing import QuantileTransformer

# 映射到均匀分布
qt_uniform = QuantileTransformer(output_distribution='uniform', n_quantiles=1000)
data['amount_qt_uniform'] = qt_uniform.fit_transform(data[['amount']])

# 映射到正态分布
qt_normal = QuantileTransformer(output_distribution='normal', n_quantiles=1000)
data['amount_qt_normal'] = qt_normal.fit_transform(data[['amount']])

4.4 三种单变量衍生方法对比

以下 SVG 图展示了三种单变量衍生方法的核心流程与适用边界，帮助你在实际项目中快速选择。

4.5 实战选择建议