01
认识不收敛
什么是优化不收敛？常见的收敛失败现象：Loss震荡、Loss爆炸、Loss停滞。
基础诊断
02
数据预处理
数据归一化与标准化、缺失值处理、异常值检测与剔除，让数据更干净。
数据清洗
03
学习率策略
固定学习率的问题、Step/Exponential Decay、余弦退火、自适应学习率（Adam/RMSprop）。
调参衰减
04
梯度问题
梯度消失与爆炸、梯度裁剪、Batch/Layer Normalization 的稳定作用。
梯度归一化
05
初始化方法
全零初始化的陷阱、Xavier/He 初始化、预训练权重迁移。
权重迁移
06
损失函数设计
损失函数选择不当的影响、L1/L2正则化、标签平滑、Focal Loss处理类别不平衡。
损失正则
07
优化器选择
SGD与动量、Adam/AdamW、Nesterov加速梯度，不同优化器适用场景。
优化器动量
08
网络结构设计
过拟合与欠拟合、残差连接、Dropout/DropConnect、深度可分离卷积。
架构正则
09
训练技巧
早停法、模型集成、数据增强、混合精度训练，提升收敛稳定性。
技巧加速
10
超参数调优
网格/随机搜索、贝叶斯优化、学习率预热，高效搜索最佳配置。
调优搜索
11
诊断工具
绘制学习曲线、梯度直方图、权重与激活值分布监控。
可视化调试
12
代码调试
PyTorch/TensorFlow中NaN检测、梯度检查、断点调试、日志系统搭建。
调试工程
13
案例实战一：图像分类
图像分类任务不收敛——从数据到模型的全链路排查。
实战CV
14
案例实战二：NLP文本生成
NLP文本生成任务Loss震荡——序列模型的稳定性优化。
实战NLP
15
案例实战三：强化学习
策略梯度不收敛——奖励设计与探索策略调整。
实战RL
16
案例实战四：GAN训练崩溃
生成器与判别器的平衡艺术，解决GAN训练崩溃。
实战GAN
17
案例实战五：时间序列
长序列依赖与梯度问题，时间序列预测发散排查。
实战时序
18
分布式训练中的不收敛
同步/异步SGD、梯度压缩误差、通信延迟的影响。
分布式系统
19
硬件与精度问题
FP16/FP32/BF16、数值溢出与下溢、Tensor Core合理使用。
硬件精度
20
损失函数进阶
对比损失、Triplet Loss、Circle Loss在度量学习中的应用。
度量损失
21
优化理论
凸优化与非凸优化、鞍点与局部极小值、Lipschitz连续性。
理论数学
22
自适应方法
Lookahead、RAdam、Nadam、LAMB在大批量训练中的应用。
优化器大批量
23
正则化进阶
Spectral Normalization、Mixup、CutMix、知识蒸馏。
正则增强
24
课程学习
由易到难的训练策略、课程设计原则、自动课程学习。
策略课程
25
元学习与不收敛
MAML、Reptile、学习如何学习，元视角解决收敛。
元学习前沿
26
贝叶斯方法
贝叶斯神经网络、不确定性估计、防止过拟合的贝叶斯视角。
贝叶斯不确定性
27
进化算法与不收敛
遗传算法优化超参数、进化策略(ES)、CMA-ES。
进化黑箱
28
自动化机器学习
神经架构搜索(NAS)、自动数据增强、自动损失函数搜索。
AutoMLNAS
29
工业级案例：推荐系统
CTR预估模型不收敛——大规模稀疏特征的处理。
工业推荐
30
总结与展望
建立自己的不收敛排查清单、未来趋势（可微分优化、隐式优化）。
总结前沿