VIP20
本课程属于：028-URDF设计导出案例 机器人系统 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

参数调优让模型运行更稳定

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
参数调优概述
什么是参数调优 · 为什么需要参数调优 · 参数调优的核心目标（稳定性
参数调优概述什么是参数调优
02
学习率（Learning Rate）
学习率的作用 · 学习率过大/过小的后果 · 固定学习率 vs 动态学习率
LearningRate
03
学习率调度策略
Step Decay · Exponential Decay · Cosine Annealing
学习率调度策略Step
04
动量（Momentum）
动量原理 · 标准动量 vs Nesterov动量 · 动量系数的选择
Momentum动量
05
权重初始化
全零初始化的陷阱 · Xavier初始化 · He初始化
权重初始化全零初始化的陷阱
06
批量大小（Batch Size）
批量大小对梯度的影响 · 大批量 vs 小批量 · Batch Size与学习率的联动
BatchSize
07
优化器选择（上）
SGD · SGD with Momentum · AdaGrad
优化器选择SGD
08
优化器选择（下）
Adam · AdamW · Nadam
优化器选择Adam
09
正则化技术（上）
L1/L2正则化 · Dropout原理 · Dropout实践技巧
正则化技术L1/L2
10
正则化技术（下）
Batch Normalizatio… · Layer Normalizatio… · Early Stopping
正则化技术Batch
11
梯度裁剪（Gradient Clipping）
梯度爆炸问题 · 梯度裁剪原理 · 裁剪阈值的选择
GradientClipping
12
损失函数选择
回归损失（MSE · MAE） · 分类损失（CrossEntropy
损失函数选择MSE
13
超参数搜索方法
手动搜索 · 网格搜索 · 随机搜索
超参数搜索方法手动搜索
14
学习率预热（Warm-up）
为什么需要Warm-up · 线性Warm-up · Gradual Warm-up
Warm-up学习率预热
15
权重衰减（Weight Decay）
权重衰减与L2正则化的关系 · 权重衰减系数的调优
WeightDecay
16
标签平滑（Label Smoothing）
标签平滑原理 · 平滑系数选择 · 实际效果分析
LabelSmoothing
17
梯度累积（Gradient Accumulation）
显存不足时的解决方案 · 累积步数设置 · 与Batch Size的关系
GradientAccumulation
18
混合精度训练（Mixed Precision）
FP16 vs FP32 · Loss Scaling · AMP实践
MixedPrecision
19
分布式训练参数
数据并行 vs 模型并行 · AllReduce策略 · 梯度同步频率
分布式训练参数vs
20
随机种子（Random Seed）
种子对可复现性的影响 · 不同框架的种子设置 · 多卡种子管理
RandomSeed
21
数据增强参数
增强强度控制 · 概率参数 · 与模型稳定性的关系
数据增强参数增强强度控制
22
模型EMA（Exponential Moving Average）
EMA原理 · 衰减系数选择 · EMA更新时机
EMAExponential
23
学习率重启（Cyclical LR）
循环学习率原理 · 周期长度设置 · 与Cosine Annealing结…
CyclicalLR
24
参数冻结与解冻
迁移学习中的冻结策略 · 逐层解冻时机 · 学习率差异化设置
参数冻结解冻
25
损失缩放（Loss Scaling）
梯度下溢问题 · 动态Loss Scaling · 静态Loss Scaling
LossScaling
26
模型检查点（Checkpoint）
保存策略 · 恢复训练 · 最佳模型选择
Checkpoint模型检查点
27
训练监控指标
Loss曲线 · 梯度范数 · 学习率变化
训练监控指标Loss
28
自动化调参工具
Optuna · Hyperopt · Ray Tune
自动化调参工具Optuna
29
常见训练不稳定问题
Loss震荡 · 梯度消失/爆炸 · 过拟合
常见训练不稳定问…Loss
30
综合调优实战案例
从零开始调优一个图像分类模型（CIF… · 涵盖所有参数调优技巧
综合调优实战案例CIF