1. 特征筛选概述
1.1 为什么需要特征筛选
在机器学习项目中，原始数据往往包含大量冗余、无关或噪声特征。直接使用全部特征训练模型，会引发以下问题：
- 维度灾难：特征数量过多导致样本在高维空间中极度稀疏，模型难以学习有效模式。
- 过拟合风险：无关特征为模型提供虚假信号，训练集表现好但泛化能力差。
- 计算开销：特征数量线性增加训练和推理时间，影响迭代效率。
- 可解释性下降：特征越多，业务人员越难理解模型决策逻辑。
关键数据：在典型表格数据竞赛中，特征筛选通常能减少 30%~70% 的特征数量，同时保持或提升模型 AUC 0.5%~2%。
1.2 特征筛选的目标与原则
| 维度 | 目标 | 核心原则 |
|---|---|---|
| 预测性能 | 保留对目标变量有强预测能力的特征 | 相关性原则：特征与目标之间应存在统计关联 |
| 冗余控制 | 去除高度相关的特征对 | 低冗余原则：特征之间应保持较低共线性 |
| 泛化能力 | 避免模型学习噪声模式 | 稳定性原则：特征在不同数据划分下表现一致 |
| 计算效率 | 降低训练和推理时间 | 简约性原则：在性能损失可接受范围内优先少特征 |
| 可解释性 | 保留业务可理解的特征 | 可解释性原则：优先保留有明确业务含义的特征 |
实践建议：特征筛选不是一次性操作，而是贯穿数据探索、基线建模、迭代优化的循环过程。建议每次筛选后验证模型效果，避免过度筛选导致信息损失。
1.3 特征筛选在机器学习流程中的位置
特征筛选位于数据预处理与模型训练之间，是特征工程的核心环节。完整的机器学习流程如下：
- 数据采集：获取原始数据
- 数据清洗：处理缺失值、异常值
- 特征构建：生成新特征（聚合、交叉、统计等）
- 特征筛选：从候选特征中选出最优子集 ← 本章重点
- 特征变换：标准化、归一化、编码
- 模型训练：使用筛选后的特征训练模型
- 模型评估：验证泛化性能
- 模型部署：上线应用
1.4 特征筛选的三种主要方法
| 方法类别 | 核心思想 | 典型算法 | 优点 | 缺点 |
|---|---|---|---|---|
| 过滤法 (Filter) | 基于统计指标独立评估每个特征 | 方差阈值、卡方检验、互信息、皮尔逊相关系数 | 计算快、与模型无关 | 忽略特征间交互作用 |
| 包裹法 (Wrapper) | 使用模型性能评估特征子集 | 递归特征消除 (RFE)、前向/后向选择 | 考虑特征交互、效果较好 | 计算开销大、易过拟合 |
| 嵌入法 (Embedded) | 在模型训练过程中自动筛选 | Lasso 回归、树模型特征重要性、XGBoost 重要性 | 效率与效果平衡 | 依赖特定模型假设 |
常见误区：不要将特征筛选与降维（如 PCA、t-SNE）混淆。特征筛选保留原始特征名称和含义，而降维生成新的组合特征，会丢失可解释性。在需要业务解释的场景中，优先使用特征筛选。
1.5 特征筛选的核心挑战
- 高维稀疏性：当特征数远大于样本数时，统计指标失效，需要引入正则化或降维策略。
- 特征交互：单个特征可能预测力弱，但与其他特征组合后效果显著（如 XOR 问题）。
- 数据泄露：筛选过程若使用了未来信息（如时间序列中的未来数据），会导致评估结果虚高。
- 稳定性问题：不同数据划分下筛选出的特征子集可能差异很大，影响模型可复现性。
入门建议：初学者可以从过滤法开始，使用相关系数矩阵和方差阈值快速剔除明显无用的特征。掌握基础后，再逐步引入树模型重要性（嵌入法）和递归特征消除（包裹法）。