VIP20

本课程属于：010-高性能科学计算与并行加速 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

JAX即时编译与向量化计算

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与环境搭建

JAX设计哲学 · 核心组件（jit · grad

课程导入环境搭建

JAX数组与NumPy互操作

jax.numpy接口 · 不可变数组特性 · 设备内存管理

纯函数与副作用管理

JAX对纯函数的要求 · 随机数生成器（PRNGKey）的使用 · 状态传递与副作用规避策略

纯函数副作用管理

即时编译（jit）基础

@jit装饰器用法 · 编译缓存机制 · 静态参数与动态参数的区别

jit即时编译

jit编译原理与追踪机制

抽象求值（tracing） · 中间表示（Jaxpr） · 编译流程剖析

jit编译原理

控制流与jit兼容性

Python控制流在jit下的限制 · lax.cond · lax.while_loop

自动微分与jit协同

grad · value_and_grad · jacobian

jit自动微分

向量化计算（vmap）入门

vmap基本原理 · 轴映射（in_axes/out_ax… · 批量操作替代循环

vmap向量化计算

vmap高级用法与嵌套

嵌套vmap · 与jit组合使用 · 处理复杂数据结构（pytree）

vmap高级用法

并行计算（pmap）基础

pmap多设备并行 · 数据并行模式 · 设备通信原语（psum

pmap并行计算

pmap高级技巧与性能调优

梯度聚合 · 批量分割策略 · 通信开销优化

pmap高级技巧

pytree结构与自定义容器

pytree概念 · 注册自定义pytree · 在jit/vmap/grad中的传递…

随机数生成与向量化

PRNGKey分割与折叠 · vmap下的随机数处理 · 随机层（如Dropout）的JAX实…

随机数生成向量化

性能分析与调试工具

JAX Profiler · jaxpr打印 · XLA HLO分析

性能分析调试工具

XLA编译优化与融合

XLA融合规则 · 算子融合对性能的影响 · 通过代码结构调整优化编译结果

XLA编译优化

静态参数与编译缓存

static_argnums使用 · 编译缓存复用条件 · 避免重复编译的策略

静态参数编译缓存

循环与扫描（scan）优化

lax.scan实现高效循环 · scan与fori_loop对比 · 在RNN/序列模型中的应用

自定义梯度与jit

custom_grad定义 · 在jit中正确使用 · 梯度检查与数值稳定性处理

jit自定义梯度

混合精度与数值稳定性

bfloat16/float16使用 · 混合精度训练策略 · jit下的类型提升规则

混合精度数值稳定性

神经网络实战（一）

使用Flax/Equinox构建全连… · 参数初始化 · 前向传播的jit与vmap优化

神经网络实战Flax/Equinox

神经网络实战（二）

CNN模型实现 · 卷积操作的vmap并行化 · 数据加载与批处理流水线

神经网络实战CNN

训练循环优化

损失函数jit编译 · 梯度计算与参数更新融合 · 使用scan实现高效训练循环

训练循环优化jit

序列模型与scan应用

RNN/LSTM的JAX实现 · scan处理时间步 · 序列批处理的vmap策略

scan序列模型

注意力机制与Transformer

多头注意力的vmap实现 · Transformer块的jit优化 · 内存高效注意力计算

Transformer注意力机制

多设备训练实战

pmap数据并行训练 · 梯度同步 · 学习率调度

多设备训练实战pmap

模型并行与分片

使用pjit/sharding进行模… · 参数分片策略 · 通信原语高级用法

模型并行分片

图神经网络（GNN）案例

消息传递的vmap实现 · 图批处理 · jit编译下的动态图处理

GNN图神经网络

强化学习案例

策略梯度算法的JAX实现 · vmap并行环境 · jit加速训练循环

强化学习案例JAX

部署与导出

JAX模型导出为SavedModel… · jit编译模型的服务化部署 · 性能基准测试

综合项目与最佳实践

端到端项目（如图像分类或文本生成） · 性能调优全流程 · 代码组织与可复现性指南

综合项目最佳实践