VIP10

本课程属于：017-Code　V序列优化深入 光学光电与激光工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

深度学习训练不收敛诊断与优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

收敛性基础

什么是优化不收敛？损失函数震荡、发散、停滞的典型表现。

诊断损失曲线

数据预处理陷阱

未归一化/标准化导致梯度消失或爆炸，实战诊断与修复。

归一化梯度爆炸

学习率策略

固定学习率 vs 学习率衰减 vs 循环学习率，如何选择与调参。

调度超参数

优化器选择

SGD、Momentum、Adam、RMSprop 的收敛特性对比与实战场景。

梯度消失与爆炸

深层网络中的梯度问题，Batch Normalization 与残差连接的实战应用。

权重初始化

Xavier、He 初始化原理，以及初始化不当导致的收敛失败案例。

损失函数设计

MSE、CrossEntropy、Huber Loss 对收敛速度与稳定性的影响。

正则化过犹不及

L1/L2 正则化、Dropout 强度过大导致欠拟合与不收敛。

Batch Size 之谜

小批量 vs 大批量对收敛曲线的影响，以及如何找到最佳 Batch Size。

特征工程与收敛

特征冗余、多重共线性如何拖慢甚至阻止收敛。

共线性特征选择

激活函数选择

ReLU、Leaky ReLU、ELU、Swish 在收敛性上的表现与陷阱。

当梯度爆炸时，如何用梯度裁剪稳定训练过程。

不仅仅是防止过拟合，更是判断收敛是否完成的实用工具。

学习率预热

Transformer 等大模型训练中，为什么需要 Warmup 策略。

WarmupTransformer

分类任务中，硬标签导致过自信与不收敛，标签平滑如何缓解。

从简单样本到复杂样本的训练策略，加速收敛的实战技巧。

多任务学习中的收敛平衡

梯度冲突、损失权重调整与动态加权策略。

多任务加权

对抗训练与收敛

FGSM、PGD 对抗训练对模型收敛性的挑战与解决方案。

分布式训练中的收敛问题

同步 vs 异步 SGD，梯度压缩带来的收敛偏差。

分布式压缩

混合精度训练

FP16 带来的数值精度问题，以及如何保证收敛质量。

超参数搜索

网格搜索、随机搜索、贝叶斯优化在收敛性调参中的实战对比。

搜索贝叶斯

模型架构与收敛

过深、过宽、跳跃连接不当导致的收敛困难。

架构跳跃连接

稀疏训练与收敛

剪枝、量化过程中模型重新收敛的挑战与策略。

元学习与收敛

MAML、Reptile 等元学习算法中内循环不收敛的调试方法。

强化学习中的收敛难题

Q-learning 发散、Policy Gradient 高方差问题。

GAN 训练不收敛

模式崩塌、判别器太强、生成器不学习，实战调参指南。

GAN模式崩塌

时间序列模型收敛

RNN/LSTM 梯度问题、序列长度与收敛的关系。

图神经网络收敛

过平滑问题、深层 GNN 的收敛性分析与改进。

调试工具链

TensorBoard、Weights & Biases、梯度直方图分析收敛状态。

综合实战案例

从零诊断一个不收敛的模型，完整排查流程与修复方案。