3. 经典模型基线选择与调优

在量子模型与经典模型的公平对比中,最容易出错的一步往往不是量子线路设计,而是经典基线本身不够强。如果基线只是一个未经调参的逻辑回归或默认参数的随机森林,那么量子模型哪怕只取得微弱优势,也可能只是"打败了一个弱对手"。本节的目标是建立一条可复现、可审计的强基线构建路径:先按数据形态选择候选模型族,再在统一的计算预算下做超参数搜索,最后用固定随机种子与交叉验证协议锁定结果。

一、候选模型族的选择原则

经典基线不应只选一个模型,而应覆盖"简单线性—非线性树—核方法—神经网络"这条表达能力递增的谱系,从而判断数据中究竟存在多复杂的结构。选择时主要看三个维度:样本量 n、特征维度 d、以及特征之间是否存在明显的非线性交互。

  • 线性模型(逻辑回归、岭回归、线性 SVM):作为下界基线。当 n 较小或 d 远大于 n 时,正则化线性模型往往极难被超越。逻辑回归的 C 控制正则强度,是首要调优参数。
  • 树模型(随机森林、梯度提升树):对特征尺度不敏感、能自动捕捉交互,是表格数据上最稳健的强基线。随机森林重点调 n_estimators、max_depth、min_samples_leaf;梯度提升则更依赖 learning_rate 与树数量的配合。
  • 核方法(核 SVM、核岭回归):在小样本、中低维场景下常与量子核方法形成最直接的对照。RBF 核的 gamma 与惩罚系数 C 构成二维网格,必须联合搜索。
  • 神经网络(MLP):当样本量足够(通常 n 在数千以上)时才值得纳入,否则容易过拟合且调参成本高。重点调隐藏层宽度、学习率与早停轮数。
选择原则可以概括为:先用线性模型确定"简单下界",再用树模型确定"表格数据强基线",核方法用于与量子核做同构对比,神经网络仅在数据量支持时加入。四类模型共享同一份训练/验证划分,保证可比性。

二、超参数调优策略

调优的核心不是穷举,而是在有限预算内高效逼近最优区域。推荐采用"粗网格定位—随机搜索细化—局部精调"的三段式策略。第一阶段用较粗的网格(如 C ∈ {0.01, 0.1, 1, 10, 100},gamma ∈ {0.001, 0.01, 0.1, 1})在对数尺度上定位量级;第二阶段在最优量级附近用随机搜索采样 30~50 组;第三阶段对前 3 名配置做更细的局部网格。

评估协议必须统一:采用分层 K 折交叉验证(分类任务 K=5),以验证集平均指标(如准确率或 AUC)作为选择依据,并记录标准差。对于不平衡数据,应改用分层抽样并报告 F1 或平衡准确率,避免准确率虚高。所有搜索过程固定 random_state,并把每次试验的参数与得分写入日志,确保任何人重跑都能得到同一结果。

from sklearn.model_selection import GridSearchCV, StratifiedKFold
from sklearn.svm import SVC

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
grid = {"C": [0.01, 0.1, 1, 10, 100],
        "gamma": [0.001, 0.01, 0.1, 1]}
search = GridSearchCV(SVC(kernel="rbf"), grid,
                      scoring="roc_auc", cv=cv, n_jobs=-1)
search.fit(X_train, y_train)
print(search.best_params_, search.best_score_)

三、计算预算控制

公平对比要求量子模型与经典模型在可比的资源约束下评估。经典侧应显式记录三项预算:单次训练的最大迭代数、总搜索试验次数、以及总墙钟时间上限。实践中可设定"总试验次数 ≤ 100、单模型训练 ≤ 5 分钟"的硬约束,超出即停止搜索并采用当前最优配置。对于梯度提升树,用早停(early_stopping_rounds)替代固定树数量,可显著压缩预算而不损失性能。

此外,应把特征预处理(标准化、缺失值填充)放进 Pipeline 内部,使其在交叉验证的每一折内独立拟合,防止验证折信息泄漏到训练折。这是"强基线"与"虚高基线"的分水岭。

经典基线构建与预算控制流程 统一数据划分 分层 5 折 · seed=42 线性模型(下界) 树模型(强基线) 核方法(同构对比) 神经网络(数据量足) 三段式调优 ① 粗网格定位量级 ② 随机搜索细化 ③ 局部精调 Top3 预算闸门 试验次数 ≤ 100 单模型 ≤ 5 分钟 早停替代固定树数 Pipeline 防泄漏 超限 → 停止并取最优 锁定强基线 最优参数 + CV 均值/标准差 + 日志

四、可复现强基线的交付物

完成上述流程后,应产出一份可直接复用的基线记录表,字段包括:模型族、关键超参数、交叉验证均值与标准差、训练耗时、随机种子、以及预处理配置。下表给出一个示例(数值为教学假设,非实测结果):

模型族关键参数CV AUC(均值±标准差)训练耗时种子
逻辑回归C=1.00.812 ± 0.0210.4 s42
随机森林n=300, depth=120.874 ± 0.0156.2 s42
RBF-SVMC=10, gamma=0.010.881 ± 0.0133.1 s42
MLPhidden=64, lr=1e-30.869 ± 0.01918.5 s42

这张表就是后续量子模型对比的"标尺"。量子模型只有在同一数据划分、同一评估指标下超过表中最高 CV 均值,并且差距大于标准差量级时,才能被认为具有统计意义上的优势。若量子模型仅与逻辑回归持平,则说明数据本身接近线性可分,量子特征映射并未带来额外表达能力——这一结论同样具有价值。

常见陷阱:一是用测试集反复调参,导致基线虚高;二是不同模型使用不同的数据划分或不同的缺失值处理,破坏可比性;三是只报告单次运行结果而不给标准差,无法判断差异是否显著。规避方法是把划分、预处理、评估指标全部固化在 Pipeline 与配置文件中,任何模型都从同一入口读取。