3. 超参数调优基础：超参数与模型参数的区别、调优目标
好了，正式开始调优之前，咱们得先把底层的概念掰扯清楚。很多同学上来就调参，结果连自己在调什么都搞混了。我见过不止一个项目，因为把学习率和模型权重混为一谈，导致实验排期全乱套。今天就先把这个根基打牢。
3.1 超参数 vs. 模型参数：别把祖宗跟孙子搞混
本质上，模型参数是模型自己“学习”出来的东西，由训练数据驱动。而超参数，则是你在训练开始前手动设置的值，像一把螺丝刀，控制着学习过程本身。说白了，模型参数是模型在训练后学会的“肌肉记忆”，而超参数决定的是“怎么练”以及“练多久”。
举个药物模型里的例子。如果你在训练一个预测配体（ligand）结合活性的图神经网络（GNN），那么每一层卷积层的权重矩阵就是模型参数。它们会根据你输入的分子结构数据，不断更新，直到能准确预测活性值。而学习率、隐藏层数、丢弃率（dropout rate）这些，就是超参数。
我把它们的核心区别整理成了一张表，方便你快速参考：
| 对比维度 | 模型参数 (Model Parameters) | 超参数 (Hyperparameters) |
|---|---|---|
| 定义 | 模型从训练数据中自动学习到的权重和偏置 | 训练开始前人为预设的配置值 |
| 数量 | 通常很大，可达数百万甚至数十亿 | 相对很少，几个到几十个 |
| 调整方式 | 通过梯度下降等优化算法自动更新 | 手动设置，或通过自动调优工具搜索 |
| 保存与加载 | 保存为模型权重文件（如 .pt, .h5） | 保存为配置文件（如 .json, .yaml） |
| 在药物模型中的体现 | GNN 中各层的权重、偏置；注意力头的权重 | 学习率、卷积核大小、批大小、层数 |
我个人的一个小习惯：每次开始一个新实验前，我都会先把超参数配置文件（比如一个 config.yaml）写好，锁死。然后再启动训练代码。这样即使模型跑崩了，我至少知道不是配置弄混了。这能省下大量排错时间。
3.2 调优目标：你到底想优化什么？
目标不明确，调参就是瞎忙活。有一次我们团队想提升一个体外活性预测模型的性能，大家各自调参，结果有人盯着验证集准确率，有人盯着ROC-AUC，还有人盯着训练速度。最后发现三个目标根本无法同时达到最优，白白浪费了两周时间。
所以，在动手调参之前，先搞清楚你要什么。我一般把调优目标分成三个层级：
- 核心性能指标：直接影响业务价值。对于药物模型，通常包括：
- 预测准确度：比如分类任务中的 AUC-ROC、精确率、召回率。
- 回归误差：比如结合自由能预测中的 RMSE 或 R²。
- 排序能力：虚拟筛选中最关心的 top-k 命中率。
- 泛化能力：模型在未见过的化学空间上表现如何。我建议重点监控验证集和测试集的指标差距——差距太大，铁定过拟合了。
- 计算效率：训练时间、推理速度、显存占用。这在大规模虚拟筛选时尤其致命。一个模型可能准确率高 1%，但推理速度慢 10 倍——对于千万级分子库来说，这个代价你是否能接受？
核心原则：一个实验，一个目标。如果你既想提升 AUC，又想降低推理延迟，请把它们拆成两个独立的实验阶段。
3.3 超参数调优的生命周期
你可能觉得调优就是写个脚本，让计算机自己跑网格搜索。其实不然。真正的调优是一个闭环流程：从定义问题，到选择搜索策略，再到评估反馈，最后决定下一步怎么走。我画了一张图来展示这个核心逻辑。你看，它并不是一次性的流程。
你看这个循环。从设定目标开始，到定义搜索空间，选策略，跑一轮实验，看结果，再决定是调整搜索范围还是换策略。很多人只盯着第三步，跳过了第一步的目标定义和第五步的深层分析。这样做，即使跑一百组参数，也很难有质的提升。
我曾经踩过的一个坑：有一次我为了追求验证集AUC的绝对值，把学习率调得特别低，训练了上百个epoch。结果模型在验证集上表现很好，但一上测试集就崩——它几乎把所有化学结构都“记住”了（过拟合）。从那以后，我每次调参都必须包含一个“泛化能力检查”的环节，比如固定验证一个外部测试集，并监控训练集和验证集之间的差距。
3.4 常见超参数速览
下面这些是你在药物模型里几乎每天都会碰到的超参数。我把它们和它们的典型作用范围列出来了：
| 超参数 | 典型范围 / 选择 | 在药物模型中的影响 |
|---|---|---|
| 学习率 (Learning Rate) | 1e-5 到 1e-1 | 直接影响训练收敛速度。太高会发散，太低会陷入局部最优。 |
| 批大小 (Batch Size) | 32, 64, 128, 256 | 影响梯度稳定性和内存占用。小批次有助于泛化，但训练更慢。 |
| 丢弃率 (Dropout Rate) | 0.1 到 0.5 | 防止过拟合。对稀疏分子特征敏感的模型尤其重要。 |
| 隐藏层数 (Number of Layers) | 2 到 6 | 决定模型容量。对于小分子数据集，层数过多反而有害。 |
| 图卷积核大小 (Filter Size) | 3, 5, 7 | 影响模型感知化学结构的“感受野”。 |
一个实践建议：开始调参前，先确保你的基线模型是“能收敛”的。我通常会先固定学习率和批大小，跑一个短迭代的快速实验，确认损失值在下降。如果连基线都发散了，那任何调优策略都是白费力气。
3.5 调优目标的量化与诊断
光说“我要提升模型性能”太虚了。你得把它变成可量化的诊断指标。我个人在做一个分子性质预测项目时，会同时监控以下四个维度的动态变化：
- 训练损失 (Training Loss)：看模型是否在学习。
- 验证损失 (Validation Loss)：看模型是否过拟合。
- 验证集 AUC：核心业务指标。
- 训练时间/epoch：看成本是否可控。
你想想看，如果你的训练损失下降正常，但验证损失在第20个epoch后开始剧烈上升——这就是典型的过拟合，你该考虑增加丢弃率（dropout）或使用更轻量的正则化策略，而不是继续盲目跑更长时间。
好了，说到这儿，超参数调优到底在调什么、为了调什么，你应该心里有数了。它不是玄学，而是一套有逻辑的工程决策过程。