2. 超参数与模型参数的区别：定义、影响

做模型训练，第一件事就是把两类参数搞清楚。一类是我们手动拧的旋钮，叫超参数；另一类是模型自己学出来的，叫模型参数。

很多人一开始会混淆。我见过不少新手把学习率调错了位置，改到了模型权重文件里，结果模型直接崩了。所以这一节，我带着你彻底理清它们的区别。

2.1 什么是模型参数

模型参数，就是在训练过程中，由优化算法自动更新、用于存储模型知识的变量。比如神经网络的权重 W 和偏置 b。

你想想看，模型读了一百万张猫狗图片后，它把“猫的特征”存到了哪里？就存在这些参数里。参数的数量级非常大，一个 ResNet-50 就有超过 2500 万个参数。

模型参数有几个特点：

• 自动学习：通过梯度下降自动更新
• 值不确定：每次训练结果不同
• 不可手动预设：只能初始化，不能手工指定最终值
• 数量巨大：百万到千亿级别

举个例子，你训练一个线性回归：

y = wx + b

w 和 b 就是模型参数。训练完成后，它们被保存到 model.pt 或 model.h5 文件中。

2.2 什么是超参数

超参数，是在训练开始前，由我们手动设置的变量。它控制着训练过程，但不直接参与模型推理。

我习惯把超参数比作“厨师做菜时的火候和调料量”。火大火小、盐放多放少，这些决定了菜怎么做，但菜本身的味道是食材（模型参数）决定的。

常见超参数包括：

• 学习率（learning rate）
• 批大小（batch size）
• 训练轮数（epochs）
• 网络层数、神经元个数
• 正则化系数（weight decay）
• 优化器类型（Adam / SGD）

超参数的特点：

• 手动设置：需要在训练前敲定
• 数量少：通常几个到几十个
• 影响全局：一个糟糕的超参数，能让整个训练失败
• 可枚举：可以列出所有可能取值

2.3 两者最核心的区别

我用一个表格让你一眼看明白：

对比维度	模型参数	超参数
设置者	优化算法自动更新	工程师手动设定
数量级	百万 ~ 千亿	几个 ~ 几十个
值是否固定	训练过程中不停变化	训练期间保持不变
保存位置	模型权重文件	配置文件或命令行参数
调试方式	不能直接修改	可以随时调整重跑
举例	W, b, 卷积核权重	lr, batch_size, epochs

说白了，模型参数是模型学到的“知识”，超参数是训练过程的“规则”。知识是内部状态，规则是外部约束。

2.4 超参数的影响有多大

你可能会问：“超参数不就调几个数字吗，能有什么大不了？”

我曾经接手过一个项目，之前的工程师用了 0.01 的学习率训练 BERT，跑了三天 loss 纹丝不动。我一看，学习率太大了，梯度震荡根本收敛不了。改到 3e-5，半天就达到了 SOTA。

这件事告诉我：超参数是训练成败的分水岭。

再举个更具体的例子——学习率：

• 学习率太大：loss 震荡，模型发散
• 学习率太小：训练极慢，容易过拟合
• 学习率适中：平稳收敛，泛化能力强

批大小的影响也很明显：

• batch size 太小：梯度噪声大，训练不稳定
• batch size 太大：收敛速度慢，内存占用高
• batch size 适中：兼顾速度和稳定性

2.5 模型参数的影响

模型参数决定了模型的表达能力。一个模型有多少参数，决定了它能学多复杂的东西。

但这里有个陷阱——参数越多不一定越好。

我记得有次做图像分类，把 ResNet-50 换成了 ResNet-101，参数量翻了一倍。结果测试集准确率只提升了 0.5%，但推理时间长了快一倍。得不偿失。

模型参数的影响表现在：

• 过拟合风险：参数过多，模型会死记硬背训练集
• 推理速度：参数越多，计算量越大
• 内存占用：大模型需要更多显存
• 部署难度：大模型在端侧跑不动

所以你会发现，现代 AI 工程不盲目追求大模型。能用小模型解决的问题，绝不动用大模型。

2.6 一张图看懂两者的关系

下面这张图，帮你快速建立整体认知：

2.7 实际项目中如何管理

在真实工程中，两类参数的管理方式完全不同：

# 模型参数 —— 自动学习
model = MyModel()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

# 训练过程中模型参数自动更新
for epoch in range(epochs):
    loss = train_step(model, data)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# 保存模型参数
torch.save(model.state_dict(), 'model_weights.pt')

而超参数，我习惯这样管理：

# 超参数 —— 手动设置并记录
hyperparams = {
    "learning_rate": 1e-3,
    "batch_size": 64,
    "epochs": 50,
    "optimizer": "Adam",
    "weight_decay": 1e-5,
    "model_architecture": "resnet50",
    "data_path": "./data",
    "seed": 42
}

# 记录到日志或配置文件中
import json
with open('hyperparams.json', 'w') as f:
    json.dump(hyperparams, f, indent=2)

2.8 版本锁定时的处理差异

到了版本锁定阶段，两类参数的锁定方式完全不同：

• 模型参数：直接保存完整权重文件，加上版本号和校验和
• 超参数：以配置文件（JSON/YAML）形式保存，和代码一起纳入 Git 管理

我个人习惯在导出模型时，把超参数作为元信息嵌入到模型文件中。这样即使配置丢了，也能从模型文件里还原出完整的训练参数。