VIP20
本课程属于：058-HDMI 2.1 FRL链路训练 高速接口与互连 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

深度学习训练学习率调度与超参数优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
FRL训练时序参数概述
理解时序参数在FRL中的角色与影响
FRL训练时序参数概述
02
学习率基础概念与影响
学习率如何控制收敛速度与稳定性
学习率基础概念影响
03
固定学习率与衰减策略
步长衰减 · 指数衰减 · 分段衰减的实现与调试
固定学习率衰减策略
04
学习率预热（Warm-up）技术
缓解初期震荡 · 提升收敛质量
Warm-up学习率预热
05
余弦退火学习率调度
周期性和自动回归的学习率策略
余弦退火学习率调…周期性
06
循环学习率（Cyclical LR）
三角形 · 矩形 · 正弦波形式及其适用场景
CyclicalLR
07
自适应学习率方法
Adam · Adagrad · RMSprop的原理与参数调试
自适应学习率方法Adam
08
Batch Size对训练时序的影响
小批量 vs 大批量 · 梯度方差与泛化
BatchSize
09
梯度累积与虚拟Batch Size
如何用较小显存模拟大批量训练
BatchSize
10
训练步数与Epoch数设定
过拟合风险 · 训练时间与模型性能的权衡
Epoch训练步数
11
验证频率与早停策略
监控验证损失 · 避免无效训练
验证频率早停策略
12
权重衰减（Weight Decay）与正则化
L2系数对时序与泛化的作用
WeightDecay
13
动量参数（Momentum）调试
SGD+Momentum与Neste…
Momentum动量参数
14
优化器选择
SGD vs Adam vs RMS… · 各优化器的时序特征
优化器选择SGD
15
分布式训练中的时序参数调整
数据并行 · 模型并行下的学习率缩放
分布式训练时序参数调整
16
混合精度训练时序优化
FP16与BF16下的梯度缩放与损失…
混合精度训练时序…FP16
17
数据加载与预处理流水线时序
多进程 · 预取与随机种子对齐
数据加载预处理流水线时序
18
GPU利用率监控与瓶颈分析
显存占用 · 计算利用率与数据传输
GPU利用率监控
19
过拟合与欠拟合的时序特征
训练/验证曲线形态分析与对策
过拟合欠拟合的时序特征
20
超参数搜索方法概述
手动调参 · 经验法则与自动化工具
超参数搜索方法概…手动调参
21
网格搜索与随机搜索
实现 · 优缺点与适用场景
网格搜索随机搜索
22
贝叶斯优化调参
高斯过程 · 采集函数与超参数空间设计
贝叶斯优化调参高斯过程
23
学习率范围测试（LR Range Test）
快速找到合理学习率区间
LRRange
24
梯度裁剪（Gradient Clipping）
防止梯度爆炸 · 稳定训练过程
GradientClipping
25
训练与验证曲线分析技巧
区分噪声 · 趋势与突变信号
训练验证曲线分析技巧
26
TensorBoard与WandB调试工具使用
可视化时序参数对指标的影响
TensorBoardWandB
27
自动调参框架
Optuna · Ray Tune的时序参数搜索流程
自动调参框架Optuna
28
迁移学习中的时序参数调整
冻结层 · 微调层 · 学习率重置策略
迁移学习时序参数调整
29
FRL训练稳定性调试经验
随机种子 · 权重初始化与Batch Normal…
FRL训练稳定性调试经…
30
综合案例
端到端时序参数优化流程——从初始配置…
综合案例端到端时序参数优…