所属分类：软件编程与计算机基础 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

PyTorch 2编译模式与性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
PyTorch 2.0 的诞生背景 · 编译模式的意义 · 课程学习目标与整体路线图
课程导入PyTorch
02
环境准备与基础回顾
安装 PyTorch 2.x · GPU/CPU 环境配置 · 张量操作与自动求导基础
环境准备基础回顾
03
PyTorch 2.0 核心新特性概览
torch.compile · TorchDynamo · TorchInductor
PyTorch0
04
TorchDynamo 原理与工作流程
Python 字节码捕获 · 图构建 · Guard 机制
TorchDynamo原理
05
TorchInductor 后端与代码生成
如何将计算图转化为高效 GPU/CP… · Triton 内核生成
TorchInducto…后端
06
torch.compile 基本用法
编译模式参数（mode · backend · dynamic）
torch.compil…基本用法
07
编译模式详解
default · reduce-overhead · max-autotune 等模式的区…
编译模式详解default
08
动态形状与静态形状
dynamic=True/False… · 形状变化时的重编译策略 · 如何选择
动态形状静态形状
09
AOTAutograd 与自动微分优化
前向与反向图的联合编译 · 梯度计算优化
AOTAutograd自动微分优化
10
图优化与算子融合
常见融合模式（如 Conv-BN · MatMul-Add） · 减少内核启动开销
图优化算子融合
11
编译缓存与重编译控制
缓存机制 · 如何避免不必要的重编译 · torch._dynamo 配置
编译缓存重编译控制
12
性能分析工具
使用 torch.profiler · TensorBoard 分析编译前后…
性能分析工具torch.profil…
13
基准测试方法
编写公平的基准测试脚本 · 对比 eager 模式与编译模式的吞… · 延迟
基准测试方法编写公平的基准测…
14
常见模型编译实战（一）
ResNet 图像分类模型编译与性能…
常见模型编译实战ResNet
15
常见模型编译实战（二）
Transformer 架构（如 B… · ）编译与注意力优化
常见模型编译实战Transformer
16
常见模型编译实战（三）
目标检测模型（如 YOLO）编译与多…
常见模型编译实战YOLO
17
常见模型编译实战（四）
生成模型（如 Stable Diff…
常见模型编译实战Stable
18
混合精度与编译结合
AMP（自动混合精度）与 torch… · 性能提升案例
混合精度编译结合
19
分布式训练与编译
DDP · FSDP 与 torch.compi… · 通信优化
分布式训练编译
20
推理优化与部署
使用编译模式加速推理 · TorchScript 与 torc… · ONNX 导出
推理优化部署
21
自定义后端与扩展
如何编写自定义 Inductor 后… · 集成第三方编译器（如 TensorR… · OpenVINO）
自定义后端扩展
22
常见问题与调试技巧
编译失败 · 图捕获错误 · 性能不升反降的排查方法
常见问题调试技巧
23
与 CUDA 图（CUDA Graph）结合
torch.compile 与 CU… · 捕获与重放优化
CUDAGraph
24
内存优化与显存管理
编译模式下的内存分配 · 减少峰值显存 · 使用 memory_format
内存优化显存管理
25
多线程与数据加载优化
DataLoader 与编译模式配合 · CPU 预处理瓶颈消除
多线程数据加载优化
26
模型微调与编译
迁移学习 · LoRA 等参数高效微调时编译模式的…
模型微调编译
27
大规模模型编译
超大模型（如 LLM）的编译策略 · 分片与序列化
大规模模型编译LLM
28
性能优化综合案例
从 eager 到编译的完整优化流程 · 包括分析 · 调参
性能优化综合案例eager
29
最佳实践与经验总结
何时使用编译 · 何时不用 · 常见性能陷阱
最佳实践经验总结
30
课程总结与进阶方向
回顾核心知识点 · 推荐学习资源 · 探索 PyTorch 2 未来趋势（…
课程总结进阶方向