VIP10

本课程属于：017-Code　V序列优化深入 光学光电与激光工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

深度学习收敛加速与训练调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是收敛？为什么优化会发散？收敛的数学定义与直观理解。

数学定义发散分析

梯度下降原理

梯度下降的数学推导、学习率的作用、批量梯度下降与随机梯度下降。

学习率调度

固定学习率的问题、学习率衰减策略（Step、Exponential、Cosine）、自适应学习率方法。

衰减策略Cosine

动量法的原理、Nesterov加速梯度、动量参数的选择技巧。

自适应优化器

AdaGrad、RMSProp、Adam、AdamW的原理与对比，如何选择优化器。

权重初始化

Xavier初始化、He初始化、零初始化的问题、预训练权重迁移。

Batch Normalization原理、训练与推理阶段的差异、Layer Norm与Batch Norm的选择。

梯度爆炸的原因、梯度裁剪的阈值设置、Clip by norm与Clip by value。

梯度爆炸阈值

损失函数设计

交叉熵损失、均方误差、Huber损失、Focal Loss对收敛的影响。

Focal LossHuber

正则化技巧

L1/L2正则化、Dropout、Early Stopping、数据增强对收敛的帮助。

DropoutEarly Stopping

标准化与归一化、特征工程对梯度的影响、PCA降维加速收敛。

由易到难的训练策略、课程学习的调度方法、实际应用案例。

课程学习调度

教师-学生模型、软标签与温度参数、蒸馏对收敛速度的提升。

混合精度训练

FP16与FP32的混合使用、损失缩放、NVIDIA Apex库的使用。

分布式训练

数据并行与模型并行、AllReduce通信、梯度同步的优化。

AllReduce数据并行

超参数搜索

网格搜索、随机搜索、贝叶斯优化、学习率与批大小的关系。

贝叶斯网格搜索

循环学习率

Cyclical LR、Cosine Annealing、Warm Restarts的原理与实现。

CyclicalWarm Restarts

Lookahead优化器

Lookahead与Slow/Fast权重更新机制、与Adam的结合。

LookaheadSlow/Fast

Rectified Adam的原理、Nesterov与Adam的融合、收敛稳定性分析。

Stochastic Weight Averaging、平均权重的时机选择、与SGD的对比。

二阶优化方法

牛顿法、拟牛顿法（L-BFGS）、自然梯度下降、何时使用二阶方法。

L-BFGS自然梯度

元学习与MAML

Model-Agnostic Meta-Learning、快速适应新任务、收敛加速原理。

CMA-ES、遗传算法在优化中的应用、与梯度方法的对比。

CMA-ES遗传算法

贝叶斯优化

高斯过程、采集函数（EI、PI、UCB）、超参数调优实战。

高斯过程采集函数

强化学习中的收敛

策略梯度、PPO、TRPO的收敛保证、奖励归一化。

GAN训练技巧

模式坍塌、梯度惩罚、WGAN-GP、谱归一化。

WGAN-GP谱归一化

自监督学习收敛

对比学习（SimCLR、MoCo）、BYOL、收敛速度分析。

迁移学习与微调

预训练模型的选择、微调策略、冻结层与学习率设置。

微调冻结层

收敛诊断工具

损失曲线分析、梯度直方图、权重分布、TensorBoard监控。

TensorBoard诊断

从零构建一个高效收敛的训练Pipeline，结合多种技巧解决实际优化问题。