01
收敛性基础概念
什么是收敛、发散与振荡，收敛在算法中的重要性。
基础定义
02
序列与级数收敛
数列收敛定义、级数收敛判别法（比较判别法、比值判别法）。
数学判别法
03
函数收敛与极限
函数极限的ε-δ定义、左极限与右极限、极限存在准则。
极限ε-δ
04
迭代算法收敛
不动点迭代、牛顿法收敛条件、收敛阶的概念。
迭代牛顿法
05
收敛速度分析
线性收敛、超线性收敛、二次收敛的定义与实例。
速度阶
06
数值稳定性与收敛
病态问题、条件数、数值误差对收敛的影响。
稳定性误差
07
梯度下降法收敛
凸函数假设、学习率选择、收敛性证明思路。
梯度下降凸优化
08
随机梯度下降收敛
SGD收敛特性、方差缩减技术、动量法。
SGD动量
09
自适应优化器收敛
Adam、RMSProp的收敛性分析与局限性。
Adam自适应
10
仿真调试基础
仿真流程、调试工具链、日志与断点调试。
调试工具
11
仿真环境搭建
Python仿真环境配置、NumPy/SciPy基础、可视化工具。
环境Python
12
算法仿真实现
从数学公式到代码的映射、向量化编程技巧。
实现向量化
13
收敛性可视化
绘制收敛曲线、残差图、学习曲线的方法。
可视化曲线
14
调试收敛问题
损失不下降、梯度爆炸/消失的排查方法。
排查梯度
15
学习率调试
学习率扫描、余弦退火、warmup策略。
学习率warmup
16
初始化方法调试
Xavier初始化、He初始化对收敛的影响。
初始化Xavier
17
正则化与收敛
L1/L2正则化、Dropout对收敛路径的影响。
正则化Dropout
18
批量大小调试
Batch Size对收敛速度与稳定性的影响。
Batch稳定性
19
归一化技术调试
Batch Norm、Layer Norm对收敛的帮助。
归一化BN
20
梯度裁剪调试
梯度裁剪原理、阈值选择、实战经验。
裁剪梯度
21
损失函数设计
不同损失函数的收敛特性、自定义损失函数。
损失设计
22
早停与模型检查点
Early Stopping策略、Checkpoint保存与恢复。
早停检查点
23
超参数搜索
网格搜索、随机搜索、贝叶斯优化在收敛调试中的应用。
搜索贝叶斯
24
多任务与多目标收敛
Pareto最优、多任务学习中的收敛平衡。
多任务Pareto
25
分布式训练收敛
同步/异步SGD、通信开销对收敛的影响。
分布式通信
26
混合精度训练收敛
FP16与FP32的收敛差异、Loss Scaling技巧。
混合精度FP16
27
强化学习收敛
Q-learning收敛性、策略梯度收敛、探索与利用。
强化学习Q-learning
28
生成模型收敛
GAN训练的不稳定性、Wasserstein距离与收敛。
GANWasserstein
29
收敛性理论前沿
神经正切核、超参数化、隐式正则化。
前沿NTK
30
综合案例实战
从零调试一个不收敛的深度学习模型（全流程）。
实战全流程