所属分类：软件编程与计算机基础 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

PyTorch训练瓶颈诊断与性能调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · 整体学习路径
课程导入学习目标
02
PyTorch训练性能基础
训练流程回顾 · 关键性能指标（吞吐量 · GPU利用率
PyTorch训练性能基础
03
环境与工具准备
硬件环境（CPU · GPU · 内存
环境工具准备
04
性能剖析工具入门
PyTorch Profiler · TensorBoard Profil… · Nsight Systems
性能剖析工具入门PyTorch
05
数据加载瓶颈诊断
DataLoader工作原理 · num_workers与prefet… · pin_memory的作用
数据加载瓶颈诊断DataLoader
06
数据加载优化实战
使用TFRecord/内存映射 · 缓存增强结果 · 分布式数据加载
数据加载优化实战TFRecord
07
GPU利用率分析
GPU利用率低下的常见原因（CPU瓶… · 小batch · 同步开销）
GPU利用率分析
08
模型结构性能分析
计算量（FLOPs） · 参数量 · 内存访问模式
模型结构性能分析FLOPs
09
算子级优化
PyTorch算子融合（如torch… · torch.compile） · 使用高效算子（如Conv3d替代循环…
算子级优化PyTorch
10
显存瓶颈诊断
显存占用分析（模型参数 · 梯度 · 优化器状态
显存瓶颈诊断显存占用分析
11
显存优化技术
梯度累积 · 混合精度训练（AMP） · 激活检查点（activation c…
显存优化技术梯度累积
12
混合精度训练
FP16与BF16原理 · AMP自动混合精度实现 · 损失缩放
混合精度训练FP16
13
分布式训练基础
数据并行（DP/DDP） · 模型并行 · 流水线并行
分布式训练基础DP/DDP
14
分布式训练性能调优
DDP通信开销分析 · 梯度同步策略 · NCCL调优
分布式训练性能调…DDP
15
CPU性能优化
CPU算子优化 · 线程数设置 · 内存分配器（如jemalloc）
CPU性能优化
16
I/O与存储优化
文件读取瓶颈 · 数据预处理流水线 · 使用LMDB/WebDataset
I/O存储优化
17
训练循环优化
避免Python开销 · 使用torch.no_grad · 减少张量创建
训练循环优化Python
18
模型编译与图优化
torch.compile的使用 · Inductor后端 · 图模式与Eager模式对比
模型编译图优化
19
性能基准测试与对比
建立基准测试流程 · 控制变量法 · A/B测试
性能基准测试对比
20
常见瓶颈案例实战（一）
数据加载导致的GPU利用率低——诊断…
常见瓶颈案例实战GPU
21
常见瓶颈案例实战（二）
显存不足导致batch size受限…
常见瓶颈案例实战batch
22
常见瓶颈案例实战（三）
分布式训练扩展效率低——通信瓶颈分析…
常见瓶颈案例实战分布式训练扩展效…
23
常见瓶颈案例实战（四）
模型推理阶段性能调优（与训练对比）—…
常见瓶颈案例实战模型推理阶段性能…
24
性能调优方法论
瓶颈定位的优先级排序 · 假设驱动调优 · 迭代优化流程
性能调优方法论瓶颈定位的优先级…
25
自动化性能分析工具
使用torch.profiler的自… · 第三方工具（如PyTorch Pro… · 自定义监控脚本
自动化性能分析工…torch.profil…
26
大规模训练性能调优
超大规模模型训练中的内存与通信优化 · ZeRO优化器 · DeepSpeed/FSDP简介
大规模训练性能调…超大规模模型训练
27
性能与精度权衡
加速技术对模型精度的影响 · 如何验证精度损失 · 混合精度与量化对比
性能精度权衡
28
性能调优常见误区
过早优化 · 过度调参 · 忽略硬件特性
性能调优常见误区过早优化
29
综合实战项目
从零诊断一个训练性能瓶颈 · 完成从监控 · 分析
综合实战项目从零诊断一个训练…
30
课程总结与进阶路径
核心知识点回顾 · 性能调优思维培养 · 推荐学习资源
课程总结进阶路径