3. 经典特征选择与降维方法概览

在进入量子特征选择之前，必须先建立一条可靠的经典基线。原因很直接：量子方法的价值不在于“用了量子”，而在于它在相同数据、相同评价指标下，能否比经典方法更准、更稳或更省。若没有经典基线，任何量子优势的结论都缺乏参照。本节把经典方法按“特征选择”和“降维”两条主线梳理清楚，并给出可操作的对比口径。

一、特征选择：保留原始特征，只做子集筛选

特征选择不改变特征的含义，只决定“留哪些、去哪些”，因此结果可解释、可直接回填到业务字段。按与学习器的耦合程度分为三类。

过滤式（Filter）：独立于后续模型，用统计量给每个特征打分再排序。常用指标包括方差、皮尔逊相关系数、卡方检验、互信息。以互信息为例，它衡量特征与标签之间的非线性依赖，取值非负，越大越相关。实操中可用 sklearn.feature_selection.SelectKBest 配合 mutual_info_classif，先取前 k 个特征。过滤式速度快、可扩展性好，适合高维稀疏数据做粗筛，缺点是忽略特征之间的冗余，可能选出多个高度共线的特征。

包裹式（Wrapper）：以模型性能为评价函数，搜索特征子集。典型代表是递归特征消除（RFE）：先用全部特征训练模型，按系数或重要性剔除最弱的若干特征，再重复训练，直到剩余特征数达到目标。RFE 能捕捉特征间的交互，通常精度更高，但计算代价随特征数增长明显，且在小样本上容易过拟合。实践中常配合交叉验证使用 RFECV，用验证曲线确定最优特征数。

嵌入式（Embedded）：在模型训练过程中同步完成选择。L1 正则（Lasso）通过稀疏化把不重要特征的系数压到零；树模型的 feature_importances_ 则按分裂增益排序。嵌入式兼顾精度与效率，是中等维度数据上的常用首选。

二、降维：把特征变换到低维空间

降维与特征选择的本质区别在于：降维产生的新维度是原始特征的组合，不再对应单个字段。PCA 是线性方法，寻找方差最大的正交方向，要求先做标准化，否则量纲大的特征会主导主成分。实际使用时通常看累计解释方差比，例如取累计达到 85%～95% 的主成分数。t-SNE 是非线性方法，擅长把高维数据压到二维或三维用于可视化，它保留局部邻域结构，但全局距离不可解释，且对困惑度（perplexity）和随机种子敏感，不适合作为下游模型的输入特征。

三、把基线做成可复现的对比实验

基线不是“跑一遍看看”，而是一套固定口径。建议在同一个训练/验证划分上，固定分类器（如逻辑回归或随机森林）、固定随机种子、固定评价指标（准确率与宏平均 F1），然后依次运行：互信息取前 k、RFECV、L1 逻辑回归、PCA 保留 95% 方差、t-SNE 仅作可视化。每个方法记录三项结果：输出特征数或维度、验证集指标、拟合加变换耗时。

一个合理的示例设定是：数据为 200 个样本、50 个特征的二分类任务，按 7:3 划分。过滤式取 k=10；RFECV 的步长设为 1，用 5 折交叉验证；PCA 保留累计解释方差 95% 的主成分。假设运行后得到如下量级的结果（此处为教学示例，非实测）：过滤式 F1 约 0.81、耗时最短；RFECV F1 约 0.85 但耗时约为过滤式的数十倍；L1 逻辑回归 F1 约 0.84，特征数压到 12 个左右；PCA 降到 8 维后 F1 约 0.79。这组数字说明一个关键判断：精度提升往往伴随代价上升，而量子方法若要证明价值，至少要在“同等特征预算下精度不降”或“同等精度下特征更少”这两个方向之一站住脚。

四、为量子方法预留的对比接口

为了让后续量子方法能公平接入，基线实验应把“数据预处理、划分、评价”封装成固定函数，只把“特征子集或降维变换”作为可替换环节。这样量子特征选择只需输出一个被选特征索引集合或一个变换矩阵，就能直接套用同一套评估流程。同时要记录经典方法的最优结果作为阈值：若量子方法在相同特征数下 F1 未超过经典最优，或耗时增加一个数量级以上而精度无显著提升，就应如实报告“未观察到优势”。这种克制的对比态度，恰恰是评估量子方法时最需要的专业素养。

总结来看，过滤式负责快速粗筛，包裹式负责精细搜索，嵌入式兼顾两者，PCA 解决共线性与压缩，t-SNE 服务探索性可视化。把这五类方法在同一口径下跑通并留下可复现记录，才构成量子特征选择与降维方法评估的可靠起点。