第01章
收敛性基础概念
什么是收敛？收敛的定义与数学表述，收敛在数值计算中的重要性。
定义数学表述
第02章
序列与级数收敛
数列收敛的判定准则，级数收敛的判别方法，常见收敛级数类型。
数列级数判别法
第03章
函数收敛性
函数极限与连续，一致收敛与逐点收敛的区别，函数序列的收敛性分析。
一致收敛逐点收敛
第04章
迭代法收敛原理
不动点迭代法，压缩映射原理，迭代收敛的充分必要条件。
不动点压缩映射
第05章
线性方程组迭代法
Jacobi迭代法，Gauss-Seidel迭代法，SOR迭代法及其收敛条件。
JacobiGauss-SeidelSOR
第06章
非线性方程求根
二分法收敛性分析，Newton迭代法及其收敛速度，弦截法。
二分法Newton弦截法
第07章
收敛速度与阶
线性收敛、超线性收敛、二次收敛的定义与判别，收敛阶的数值估计。
收敛阶超线性二次收敛
第08章
误差分析与收敛
截断误差与舍入误差，误差传播与收敛性关系，数值稳定性。
截断误差舍入误差稳定性
第09章
加速收敛技术
Richardson外推法，Aitken加速法，Steffensen迭代法。
外推AitkenSteffensen
第10章
共轭梯度法
最速下降法的收敛问题，共轭方向法原理，共轭梯度法的收敛性分析。
最速下降共轭方向CG
第11章
Newton型方法
Newton法的局部收敛性，阻尼Newton法，拟Newton法收敛性。
阻尼Newton拟Newton
第12章
优化算法收敛性
梯度下降法收敛分析，随机梯度下降收敛性，动量法收敛特性。
梯度下降SGD动量
第13章
深度学习中的收敛
损失函数收敛曲线分析，学习率调度对收敛的影响，Batch Size与收敛。
学习率Batch Size曲线
第14章
自适应算法收敛
Adam优化器收敛性分析，RMSprop收敛特性，自适应学习率方法。
AdamRMSprop自适应
第15章
蒙特卡洛方法收敛
Monte Carlo估计的收敛速度，方差缩减技术，重要性采样。
MC方差缩减重要性采样
第16章
马尔可夫链蒙特卡洛
MCMC收敛诊断，Gelman-Rubin统计量，有效样本量分析。
MCMCGelman-RubinESS
第17章
EM算法收敛性
EM算法的单调性，收敛到局部最优，加速EM收敛方法。
EM单调性加速
第18章
变分推断收敛
ELBO的收敛特性，黑盒变分推断，随机变分推断收敛。
ELBO黑盒VISVI
第19章
数值积分收敛
Newton-Cotes公式收敛性，Gauss求积法收敛，自适应积分收敛。
Newton-CotesGauss自适应
第20章
微分方程数值解收敛
Euler法收敛性分析，Runge-Kutta法收敛阶，稳定性与收敛。
EulerRunge-Kutta稳定性
第21章
有限差分法收敛
差分格式的相容性、稳定性与收敛性，Lax等价定理。
相容性Lax等价稳定性
第22章
有限元法收敛
Galerkin逼近的收敛性，h-p自适应收敛，误差估计。
Galerkinh-p误差估计
第23章
谱方法收敛
谱逼近的指数收敛性，Chebyshev谱方法，Galerkin谱方法。
指数收敛Chebyshev谱方法
第24章
多网格法收敛
多网格法的收敛理论，V-cycle与W-cycle收敛分析，代数多网格。
V-cycleW-cycle代数多网格
第25章
分裂算法收敛
ADMM收敛性分析，算子分裂法，Douglas-Rachford分裂。
ADMM算子分裂Douglas-Rachford
第26章
非凸优化收敛
非凸问题的收敛挑战，局部极小值与鞍点，逃离鞍点方法。
非凸鞍点逃离
第27章
分布式算法收敛
分布式梯度下降收敛，联邦学习收敛分析，通信效率与收敛。
分布式联邦学习通信
第28章
收敛性诊断工具
收敛曲线可视化，残差分析，收敛判据设计。
可视化残差判据
第29章
实际案例
图像去噪中的收敛分析，推荐系统收敛调优，物理模拟收敛问题。
图像去噪推荐系统物理模拟
第30章
前沿与展望
非渐近收敛分析，收敛加速新方法，AI辅助收敛优化。
非渐近加速AI辅助