1. 参数调优概述
各位同学好，我是老张。今天咱们开始《参数调优：让模型运行更稳定》这门课。第一讲，我想先聊聊最基础的问题——到底什么是参数调优？为什么我们非得做这件事？
说白了，参数调优就是给模型找一组最合适的参数。你想想看，模型训练就像开车，参数就是方向盘、油门、刹车。调得好，车跑得又快又稳；调不好，要么原地打转，要么直接翻沟里。
核心定义： 参数调优（Hyperparameter Tuning）是通过系统性地调整模型训练过程中的超参数，使模型在特定任务上达到最优性能的过程。
1.1 为什么需要参数调优？
我在项目中遇到过不少同学，上来就用默认参数跑模型。结果呢？要么loss死活不降，要么训练到一半直接炸了。为什么会这样？
我给你们讲个真实案例。去年有个项目，用ResNet50做图像分类。默认学习率0.001，跑了20个epoch，准确率卡在72%上不去。后来我把学习率调到0.0005，再加个余弦退火，准确率直接跳到81%。你看，就改了一个参数，效果天差地别。
参数调优的必要性，主要体现在三个方面：
- 模型性能的天花板——同样的网络结构，参数调好了，效果能差10-20个点
- 训练稳定性——参数不对，loss震荡、梯度爆炸、NaN满天飞
- 资源效率——调好了，少跑一半epoch就能收敛
避坑指南： 我曾经见过一个团队，花了两周时间调网络结构，结果发现只是学习率设大了导致不收敛。嗯，这种低级错误其实挺常见的。所以我的建议是——先调参数，再改结构。
1.2 参数调优的核心目标
参数调优不是瞎调，它有三个核心目标。我习惯用一个三角关系来理解：
稳定性
稳定性是底线。模型训练过程中，loss曲线不能像过山车一样忽上忽下。我见过最夸张的一次，有个同学用Adam优化器，学习率设成0.1，loss曲线直接画了个心电图。
影响稳定性的关键参数：
| 参数 | 设置过大 | 设置过小 |
|---|---|---|
| 学习率 | loss震荡、发散 | 收敛极慢、陷入局部最优 |
| batch size | 内存溢出、泛化差 | 梯度噪声大、训练慢 |
| 动量系数 | 震荡加剧 | 加速效果不明显 |
我的经验： 调稳定性，先从学习率下手。我习惯先用0.001试跑10个epoch，看loss曲线。如果震荡厉害，就降到0.0001；如果下降太慢，就提到0.01。记住，稳定是第一位的。
收敛速度
收敛速度决定了你要等多久才能看到结果。你想想看，一个模型训练要3天，另一个只要3小时，你会选哪个？
但这里有个坑——很多人为了追求速度，把学习率设得特别大。结果呢？模型直接飞了。我管这叫"欲速则不达"。
加速收敛的常用手段：
- 学习率调度——先用大学习率快速下降，再慢慢减小精细调优
- 优化器选择——Adam收敛快，SGD收敛稳
- batch size调整——适当增大batch size能加速，但别太大
泛化能力
泛化能力是最终目标。模型在训练集上表现再好，测试集上拉胯，那就是白搭。我管这叫"考试型选手"——平时考满分，一上考场就懵。
影响泛化能力的参数：
| 参数 | 作用 | 调优方向 |
|---|---|---|
| 正则化系数 | 防止过拟合 | 太大欠拟合，太小过拟合 |
| dropout率 | 随机丢弃神经元 | 0.2-0.5之间常用 |
| 权重衰减 | 限制权重大小 | 1e-4到1e-5常见 |
核心观点： 参数调优不是追求单一指标的最优，而是在稳定性、收敛速度、泛化能力之间找到平衡点。我做了这么多年，最大的体会就是——没有最好的参数，只有最合适的参数。
1.3 参数调优的常见误区
最后，我给大家总结几个常见误区。这些都是我在项目中踩过的坑：
- 盲目追求大学习率——觉得收敛快就是好，结果模型直接炸了
- 忽视batch size的影响——batch size不仅影响速度，还影响泛化
- 只调一个参数——参数之间是相互影响的，要整体考虑
- 过早停止调优——跑了两三个epoch就下结论，太草率了
重要提醒： 我曾经犯过一个错误——为了赶进度，用默认参数直接上线。结果线上数据分布和训练数据不一样，模型表现一塌糊涂。从那以后，我每次上线前都会做一次完整的参数调优。记住，参数调优不是锦上添花，而是雪中送炭。