VIP20
本课程属于：010-高性能科学计算与并行加速 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

JAX自动微分与数值优化入门

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与环境搭建
JAX 的核心设计哲学与生态定位 · 安装 CPU/GPU 版本 · 验证 jax.numpy 与自动微分…
课程导入环境搭建
02
JAX 数组与 NumPy 的异同
jax.numpy 的不可变数组特性 · 设备内存管理 · 异步执行与同步机制
JAXNumPy
03
函数变换基础
jit · grad · vmap
函数变换基础jit
04
自动微分原理与 grad 实战
前向与反向模式微分的基本思想 · 使用 grad 计算标量函数梯度 · 处理多输入函数的 argnums 参…
grad自动微分原理
05
高阶导数与 Hessian 矩阵
嵌套 grad 实现二阶导数 · 使用 jacfwd · jacrev 计算雅可比矩阵
Hessian高阶导数
06
向量化与自动批处理
vmap 的基本用法与 in_axe… · 将标量梯度函数批量化 · 对比手动循环与 vmap 的性能差异
向量化自动批处理
07
JIT 编译与性能调优
jit 的编译缓存机制 · 静态参数与动态形状处理 · 使用 block_until_rea…
JIT编译
08
随机数生成与可复现性
JAX 的显式 PRNG 密钥管理 · split 与 fold_in 的使… · 在 jit 中传递密钥
随机数生成可复现性
09
数值优化问题建模
将机器学习或工程问题转化为最小化目标… · 定义损失函数与参数结构 · 使用 pytree 组织参数
数值优化问题建模将机器学习或工程…
10
梯度下降法从零实现
利用 grad 与 jit 编写基础… · 设置学习率与迭代终止条件 · 在二次函数与 Rosenbrock…
梯度下降法从零实…grad
11
Optax 优化器库入门
安装与基本 API · 使用 optax.sgd · optax.adam 构建优化器
Optax优化器库入门
12
线性回归完整实战
生成合成数据 · 定义均方误差损失 · 使用 Optax 训练线性模型
线性回归完整实战生成合成数据
13
逻辑回归与分类任务
定义交叉熵损失 · 使用 sigmoid 输出概率 · 在二分类数据集上训练
逻辑回归分类任务
14
多层感知机与反向传播
用 pytree 定义 MLP 参数 · 实现前向传播 · 使用 grad 自动求取全部参数梯度
多层感知机反向传播
15
小批量训练与数据流水线
使用 vmap 与 jit 实现高效… · 结合 optax 优化器 · 编写训练循环
小批量训练数据流水线
16
学习率调度与优化技巧
使用 optax 的调度器（如余弦衰… · 阶梯衰减） · 结合 warmup 策略
学习率调度优化技巧
17
正则化与模型选择
在损失函数中加入 L2 正则项 · 使用 optax.add_decay… · 通过验证集选择超参数
正则化模型选择
18
约束优化与投影梯度法
定义带约束的优化问题 · 使用投影梯度下降求解 · 利用 jit 加速投影步骤
约束优化投影梯度法
19
常微分方程初值问题与梯度
使用 JAX 实现欧拉法与 RK4… · 通过 grad 对求解器参数求导 · 展示自动微分在动态系统参数估计中的潜…
常微分方程初值问…梯度
20
数值积分与自动微分结合
实现梯形法与辛普森法积分 · 对积分上限或被积函数参数求导 · 利用 jax.jit 加速批量积分计…
数值积分自动微分结合
21
线性方程组求解与隐式微分
使用 jax.numpy.linal… · 通过隐函数定理与 custom_vj… · 对解向量关于矩阵参数求导
线性方程组求解隐式微分
22
特征值问题与梯度计算
计算对称矩阵的特征值 · 使用 jax.numpy.linal… · 通过自动微分获取特征值对矩阵元素的梯…
特征值问题梯度计算
23
快速傅里叶变换与谱方法
使用 jax.numpy.fft 进… · 对频域滤波参数求导 · 实现基于谱方法的简单信号处理优化任务
快速傅里叶变换谱方法
24
稀疏性与结构化梯度
利用 jax.experimenta… · 在稀疏线性模型中计算梯度 · 对比稠密与稀疏计算的效率
稀疏性结构化梯度
25
并行计算与 pmap 入门
使用 pmap 进行数据并行训练 · 理解设备间通信与梯度聚合 · 在多个 GPU/TPU 上运行小批量…
pmap并行计算
26
自定义梯度与数值稳定性
使用 jax.custom_vjp… · 处理数值不稳定函数（如 log-su… · 验证梯度正确性
自定义梯度数值稳定性
27
调试与性能分析工具
使用 jax.debug.print… · 利用 jax.profiler 分析… · 识别常见性能陷阱（如 Python…
调试性能分析工具
28
优化算法对比实验
在同一问题上对比 SGD · Momentum · Adam
优化算法对比实验SGD
29
端到端项目
物理信息神经网络求解 PDE · 定义 PDE 残差损失与边界条件损失 · 利用自动微分计算高阶导数
端到端项目PDE
30
课程总结与进阶方向
回顾 JAX 自动微分与数值优化的核… · 梳理从问题建模到优化求解的完整流程 · 讨论扩展到更复杂模型与大规模计算的路…
课程总结进阶方向