1. 特征筛选概述
什么是特征筛选
特征筛选（Feature Selection）是从原始特征集合中挑选出对模型预测能力贡献最大、冗余最小的特征子集的过程。它不同于特征提取（如 PCA、t-SNE）——特征筛选不改变原始特征的物理含义，而是直接删除不相关或冗余的特征列。
核心定义： 给定原始特征集 X = {x₁, x₂, …, xₙ}，特征筛选的目标是找到一个最优子集 Xopt ⊆ X，使得在该子集上训练的模型性能最优或接近最优，同时特征数量显著减少。
特征筛选的重要性
在实际建模项目中，特征筛选直接决定模型的上限与落地成本。以下从四个维度说明其关键作用：
| 维度 | 未做特征筛选的典型问题 | 特征筛选后的收益 |
|---|---|---|
| 模型性能 | 噪声特征引入过拟合，泛化能力下降 | 降低方差，提升测试集准确率 3%–15% |
| 训练效率 | 特征维度高导致训练时间指数级增长 | 训练时间减少 50%–90% |
| 可解释性 | 数百个特征难以向业务方解释 | 保留 10–30 个关键特征，业务逻辑清晰 |
| 部署成本 | 特征工程管线庞大，存储与计算开销高 | 特征管线精简，推理延迟降低 40%–70% |
实战经验： 在 Kaggle 竞赛或工业项目中，特征筛选往往比调参更能带来性能提升。一个包含 200 个噪声特征的数据集，即使使用 XGBoost，其 AUC 也可能低于只保留 20 个优质特征的逻辑回归模型。
特征筛选与维度灾难
维度灾难（Curse of Dimensionality）是指随着特征维度增加，数据在空间中变得极度稀疏，导致距离度量失效、模型复杂度飙升、所需样本量呈指数增长的现象。特征筛选是应对维度灾难最直接、最有效的策略之一。
以下 SVG 展示了维度灾难的核心问题与特征筛选的解决路径：
维度灾难的数学直觉
假设特征各维度取值在 [0,1] 区间均匀分布，样本量为 N。当维度 d 增加时，样本间的平均欧氏距离变化如下：
# 维度灾难的模拟代码
import numpy as np
def avg_distance(d, N=1000):
X = np.random.rand(N, d)
# 随机抽取 500 对样本计算距离
idx = np.random.choice(N, (500, 2))
dist = np.linalg.norm(X[idx[:,0]] - X[idx[:,1]], axis=1)
return np.mean(dist)
for d in [2, 5, 10, 20, 50, 100]:
print(f"d={d:3d} avg_dist={avg_distance(d):.4f}")
输出结果会显示：随着 d 增大，平均距离趋近于 √(d/6)，样本间距离差异越来越小，导致基于距离的算法（KNN、K-Means、SVM 核函数）性能急剧下降。
常见误区： 很多初学者认为“特征越多信息越丰富，模型效果越好”。实际上，当特征数量超过某个阈值（通常与样本量相关）后，模型性能会先上升后急剧下降——这就是维度灾难的典型表现。特征筛选正是要在信息量与维度之间找到最佳平衡点。
特征筛选的三种主要范式
根据筛选过程是否依赖模型，特征筛选方法可分为三大类，后续章节将逐一深入讲解：
| 范式 | 典型方法 | 计算效率 | 与模型关系 | 适用场景 |
|---|---|---|---|---|
| 过滤法（Filter） | 方差阈值、卡方检验、互信息、皮尔逊相关系数 | 高（O(n·d)） | 独立于模型 | 高维数据初步筛选（d > 10000） |
| 包裹法（Wrapper） | 递归特征消除（RFE）、前向/后向搜索 | 低（O(2d) 或 O(d²)） | 依赖模型性能 | 特征数较少（d < 50）且追求最优子集 |
| 嵌入法（Embedded） | Lasso（L1 正则化）、树模型特征重要性 | 中（O(n·d·t)） | 训练过程中自动筛选 | 中等维度（d 100–5000），兼顾效率与效果 |
以下 SVG 展示了三种范式在特征筛选流程中的位置关系：
本章小结
- 特征筛选 是从原始特征中挑选最优子集，保留物理含义的同时降低维度。
- 重要性 体现在提升模型性能、加速训练、增强可解释性、降低部署成本四个方面。
- 维度灾难 是特征过多导致数据稀疏、过拟合、计算爆炸的根本原因，特征筛选是其核心对抗手段。
- 三大范式（过滤法、包裹法、嵌入法）各有优劣，后续章节将逐一展开实战细节。