3. 特征工程基础回顾：特征类型、缩放编码与选择降维

在历史项目故障排查中，超过 60% 的成本超支根因可追溯到特征工程阶段的错误决策。本章系统回顾特征工程的核心基础，为后续章节的故障诊断与成本优化建立统一术语与判断基准。

3.1 特征类型与处理策略

特征类型决定了后续缩放、编码与模型选择的路径。错误识别特征类型是历史项目中最常见的故障模式之一。

3.2 特征缩放与编码

3.2.1 特征缩放方法对比

3.2.2 类别编码策略

• 标签编码 (Label Encoding)：将类别映射为整数 0,1,2,…。适用于有序类别或树模型。
• 独热编码 (One-Hot Encoding)：每个类别生成一个二进制列。适用于无序低基数类别。
• 目标编码 (Target Encoding)：用目标变量的均值替换类别。适用于高基数特征，但需注意过拟合。
• 频率编码 (Frequency Encoding)：用类别出现频率替换。适用于分布极不均匀的场景。

3.3 特征选择与降维

特征选择与降维是控制模型复杂度、降低训练成本、提升泛化能力的关键手段。在历史项目中，盲目保留全部特征是最常见的成本浪费来源之一。

3.3.1 特征选择方法

3.3.2 Lasso 特征选择

Lasso (L1 正则化) 通过向损失函数添加权重值之和的惩罚项，将不重要特征的系数压缩至零，实现自动特征选择。

from sklearn.linear_model import Lasso
from sklearn.preprocessing import StandardScaler

# 标准化（Lasso 对尺度敏感）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# Lasso 特征选择
lasso = Lasso(alpha=0.01)  # alpha 控制正则化强度
lasso.fit(X_scaled, y)

# 获取被选中的特征
selected_features = X.columns[lasso.coef_ != 0]
print(f"原始特征数: {X.shape[1]}")
print(f"选中特征数: {len(selected_features)}")
print(f"被剔除特征: {list(set(X.columns) - set(selected_features))}")

3.3.3 PCA 降维

主成分分析 (PCA) 通过正交变换将原始特征转换为线性不相关的主成分，按方差贡献率排序，保留前 k 个主成分实现降维。

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
import numpy as np

# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# PCA 降维
pca = PCA(n_components=0.95)  # 保留 95% 方差
X_pca = pca.fit_transform(X_scaled)

print(f"原始维度: {X_scaled.shape[1]}")
print(f"降维后维度: {X_pca.shape[1]}")
print(f"各主成分方差占比: {np.round(pca.explained_variance_ratio_, 3)}")
print(f"累计方差占比: {np.round(np.cumsum(pca.explained_variance_ratio_), 3)}")

3.4 特征工程常见故障模式速查