4. 特征工程核心流程：数据清洗、特征构建、特征选择、特征变换、特征降维的完整 Pipeline 设计

在压力测试场景下，原始数据通常包含大量噪声、缺失值、冗余字段以及高维特征。直接使用原始数据训练模型会导致过拟合、训练缓慢且泛化能力差。一个标准化的特征工程 Pipeline 能够将原始数据转化为高质量、低冗余、强表达的特征集，是压力测试建模的基石。

本章将完整拆解特征工程的五个核心环节：数据清洗 → 特征构建 → 特征选择 → 特征变换 → 特征降维，并给出可落地的 Pipeline 设计模板。

4.1 数据清洗：剔除噪声，修复缺失

压力测试数据常来自多源日志、监控系统、压测工具，数据质量参差不齐。数据清洗是 Pipeline 的第一道关卡，直接影响后续所有环节的效果。

4.2 特征构建：从原始数据中挖掘新特征

原始字段往往不足以表达压力测试中的复杂模式。特征构建通过数学变换、聚合统计、交叉组合等方式，生成更具判别力的新特征。

• 统计聚合特征：对时间窗口内的 TPS、响应时间、错误率计算均值、标准差、分位数、最大值、最小值。
• 时间特征：提取小时、星期几、是否工作日、是否业务高峰期、距上次压测间隔等。
• 交叉特征：TPS × 平均响应时间、错误率 × 并发用户数、CPU 使用率 × 内存使用率。
• 差分与比率特征：当前 TPS 与前一时刻 TPS 的差值、响应时间与基线的比值。
• 滑动窗口特征：过去 5 分钟的平均错误率、过去 10 个采样点的响应时间趋势斜率。

# 特征构建示例代码（Python）
import pandas as pd
import numpy as np

def build_features(df):
    # 统计聚合特征
    df['resp_time_mean'] = df.groupby('window_id')['response_time'].transform('mean')
    df['resp_time_std'] = df.groupby('window_id')['response_time'].transform('std')
    df['tps_p95'] = df.groupby('window_id')['tps'].transform(lambda x: x.quantile(0.95))
    
    # 时间特征
    df['hour'] = pd.to_datetime(df['timestamp']).dt.hour
    df['is_peak'] = df['hour'].apply(lambda x: 1 if 10 <= x <= 12 or 14 <= x <= 17 else 0)
    
    # 交叉特征
    df['tps_resp_ratio'] = df['tps'] / (df['response_time'] + 1e-6)
    
    # 差分特征
    df['tps_diff'] = df['tps'].diff().fillna(0)
    
    return df

4.3 特征选择：去冗余，提效率

特征构建后特征维度可能急剧膨胀，大量冗余或无关特征会降低模型性能。特征选择的目标是保留对目标变量最有解释力的特征子集。

4.4 特征变换：统一尺度，增强分布

不同特征往往具有不同的量纲和分布形态。特征变换通过数学映射，使特征更适合模型假设，提升训练稳定性和收敛速度。

• 标准化（Z-Score）：将特征转换为均值为 0、标准差为 1 的分布。适用于 SVM、线性回归、神经网络等对尺度敏感的模型。
• 归一化（Min-Max）：将特征缩放到 [0, 1] 区间。适用于距离度量模型（KNN、K-Means）。
• 对数变换：对右偏分布（如响应时间、TPS）取 log，使其更接近正态分布。
• Box-Cox 变换：自动寻找最佳幂变换参数，适用于正数特征。
• 类别编码：One-Hot 编码、Label 编码、Target 编码。压力测试中的环境类型、协议类型等类别特征常用 One-Hot。

# 特征变换示例代码
from sklearn.preprocessing import StandardScaler, MinMaxScaler, PowerTransformer
import numpy as np

# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_train)

# 对数变换（对正数特征）
X_log = np.log1p(X_train[['response_time', 'tps']])

# Box-Cox 变换
pt = PowerTransformer(method='box-cox')
X_boxcox = pt.fit_transform(X_train[['response_time']])

4.5 特征降维：压缩维度，提取主成分

即使经过特征选择，特征维度仍可能过高（例如数百维）。特征降维通过线性或非线性投影，将高维数据映射到低维空间，同时保留最大信息量。

4.6 完整 Pipeline 设计模板

将上述五个环节封装为一个可复用的 Pipeline，是工程落地的关键。以下是一个基于 scikit-learn 的 Pipeline 设计模板，可直接用于压力测试特征工程。

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, FunctionTransformer
from sklearn.feature_selection import SelectKBest, f_regression
from sklearn.decomposition import PCA
import numpy as np

# 自定义特征构建函数
def build_custom_features(X):
    # 假设 X 包含 response_time, tps, error_rate 三列
    X_out = np.copy(X)
    # 添加交叉特征
    cross = X_out[:, 0] * X_out[:, 1]  # response_time * tps
    X_out = np.column_stack([X_out, cross])
    # 添加比率特征
    ratio = X_out[:, 1] / (X_out[:, 0] + 1e-6)  # tps / response_time
    X_out = np.column_stack([X_out, ratio])
    return X_out

# 完整 Pipeline
feature_pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='median')),           # 数据清洗：缺失值填充
    ('feature_builder', FunctionTransformer(build_custom_features)),  # 特征构建
    ('scaler', StandardScaler()),                            # 特征变换：标准化
    ('selector', SelectKBest(f_regression, k=20)),           # 特征选择：保留 Top-20
    ('pca', PCA(n_components=0.95))                          # 特征降维：保留 95% 方差
])

# 使用 Pipeline
X_train_transformed = feature_pipeline.fit_transform(X_train, y_train)
X_test_transformed = feature_pipeline.transform(X_test)

4.7 各环节常见陷阱与避坑指南