4. 特征工程误差：特征选择、特征提取、特征缩放不当引入的误差
特征工程，说白了就是给算法喂饭。饭喂得好不好，直接决定模型能不能干活。
我见过太多团队，模型结构选得挺漂亮，损失函数也调得挺顺，结果一上线就崩。查来查去，最后发现是特征工程出了问题。嗯，这种坑我踩过不止一次。
今天咱们就聊聊，特征工程里那些容易引入误差的环节。我把它分成三块：特征选择、特征提取、特征缩放。每一块都有坑，咱们一个个说。
4.1 特征选择：选错了，模型就偏了
特征选择，就是决定哪些特征进模型，哪些不要。听起来简单，但这里面的门道不少。
4.1.1 遗漏重要特征
你想想看，如果某个特征跟目标变量有强关联，但你把它漏了，模型就相当于少了一只眼睛。我曾在做用户流失预测时，一开始没把「最近一次登录时间」放进去，结果AUC死活上不去。后来加上这个特征，效果直接提升8%。
4.1.2 引入冗余或噪声特征
反过来，塞进去太多没用的特征，模型也会被带偏。尤其是那些跟目标变量无关、但跟其他特征高度相关的变量，会让模型学到虚假的模式。
举个例子：你在做房价预测，把「房子编号」也当成特征丢进去。模型可能会记住每个编号对应的价格，但换个新房子就完全失效了。这就是过拟合的典型表现。
4.1.3 特征选择方法不当
常用的特征选择方法有过滤法、包裹法、嵌入法。每种方法都有自己的适用场景，选错了也会引入误差。
| 方法 | 原理 | 常见问题 |
|---|---|---|
| 过滤法（Filter） | 基于统计指标（如卡方、互信息）筛选 | 忽略特征间的交互作用 |
| 包裹法（Wrapper） | 用模型性能来评估特征子集 | 计算量大，容易过拟合 |
| 嵌入法（Embedded） | 在模型训练过程中自动选择 | 依赖模型本身的稳定性 |
我个人习惯先用过滤法快速筛一遍，再用嵌入法精调。这样既省时间，又能保证效果。
4.2 特征提取：降维不当，信息就丢了
特征提取，是把原始特征变换成新的特征空间。最典型的就是PCA（主成分分析）。
4.2.1 PCA的方差陷阱
PCA选的是方差最大的方向。但方差大，不代表信息有用。我遇到过这样一个案例：在做图像分类时，背景噪声的方差比目标物体还大，结果PCA把噪声当成了主要成分，模型直接废了。
4.2.2 降维维度选择
降维到多少维合适？这没有标准答案。降得太多，信息损失严重；降得太少，又达不到降噪的目的。
我一般会看累计方差贡献率，选到85%-95%之间。但注意，这只是参考。实际项目中，我还会结合下游任务的效果来调。
# 一个简单的PCA示例
from sklearn.decomposition import PCA
import numpy as np
# 假设X是标准化后的特征矩阵
pca = PCA(n_components=0.95) # 保留95%的方差
X_pca = pca.fit_transform(X)
print(f"原始维度: {X.shape[1]}")
print(f"降维后维度: {X_pca.shape[1]}")
print(f"累计方差贡献率: {np.cumsum(pca.explained_variance_ratio_)}")
4.2.3 特征提取的非线性问题
PCA是线性变换。如果数据分布是非线性的，强行用PCA就会丢失结构信息。这时候可以考虑t-SNE或UMAP，但它们主要用于可视化，不适合作为模型输入。
嗯，这里要注意：t-SNE的随机性很强，每次运行结果可能不一样。我曾在做聚类分析时，因为没固定随机种子，结果两次跑出来的图完全不一样，差点被老板骂。
4.3 特征缩放：量纲不统一，模型就乱了
特征缩放，就是把不同量纲的特征统一到同一个尺度上。这一步看似简单，但做不好，误差会直接放大。
4.3.1 标准化 vs 归一化
标准化（Standardization）是把数据变成均值为0、方差为1。归一化（Normalization）是把数据缩放到[0,1]区间。两者适用场景不同。
| 方法 | 公式 | 适用场景 |
|---|---|---|
| 标准化 | z = (x - μ) / σ | 数据服从正态分布，或使用SVM、PCA等对尺度敏感的方法 |
| 归一化 | x' = (x - min) / (max - min) | 数据有明确边界，或使用神经网络、KNN等 |
我个人习惯：如果不知道用哪个，先用标准化。因为归一化对异常值非常敏感，一个离群点就能把整个缩放搞崩。
4.3.2 缩放时机：先拆分，后缩放
这个坑我见过太多次了。很多人先把整个数据集做缩放，再拆分训练集和测试集。这是错的！
正确的做法是：先拆分，再用训练集的统计量（均值和标准差）去缩放训练集和测试集。否则测试集的信息会泄露到训练过程中，导致评估结果虚高。
# 错误的做法
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X) # 先缩放
X_train, X_test = train_test_split(X_scaled, test_size=0.2) # 再拆分
# 正确的做法
X_train, X_test = train_test_split(X, test_size=0.2) # 先拆分
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train) # 用训练集拟合
X_test_scaled = scaler.transform(X_test) # 用训练集的统计量转换测试集
4.3.3 异常值对缩放的影响
归一化对异常值敏感，这个刚才说了。标准化虽然鲁棒一些，但如果异常值特别多，均值和方差也会被带偏。
我建议：在做缩放之前，先处理异常值。可以用IQR（四分位距）法或者Z-score法把异常值剔除或截断。
4.4 知识体系总览
下面这张图，把特征工程误差的核心逻辑串起来了。你可以把它当成一个检查清单，做特征工程时对照着看。
特征工程这件事，说白了就是「理解数据」的过程。你越了解你的数据，就越能做出好的特征。工具和方法只是辅助，真正决定成败的，是你对业务和数据的理解深度。
我做了这么多年算法，最大的体会就是：花在特征工程上的时间，永远值得。模型调参调半天，不如加一个有用的特征来得实在。
可可精品资料库