VIP20
本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

英伟达GPU深度学习训练优化进阶

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · GPU在深度学习中的角色与优化的重要…
课程导入学习目标
02
GPU架构基础
英伟达GPU架构（如Ampere · Hopper） · SM
GPU架构基础
03
CUDA编程基础
CUDA编程模型 · 线程层次 · 内存管理
CUDA编程基础
04
性能分析工具
Nsight Systems · Nsight Compute · nvprof的使用与性能瓶颈识别
性能分析工具Nsight
05
深度学习框架与GPU交互
PyTorch/TensorFlow… · 张量操作与GPU内存管理
GPU深度学习框架
06
数据加载与预处理优化
DataLoader并行 · 数据增强的GPU加速 · 使用NVIDIA DALI
数据加载预处理优化
07
混合精度训练
FP16与BF16原理 · Tensor Core使用 · 自动混合精度（AMP）实现
混合精度训练FP16
08
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
09
多GPU训练策略
PyTorch DDP与Horovo… · 梯度同步与负载均衡
GPU训练策略
10
模型并行与流水线并行
大模型训练中的模型分片 · PipeDream等策略
模型并行流水线并行
11
显存优化技术
梯度检查点 · 混合精度 · 显存碎片整理
显存优化技术梯度检查点
12
算子融合与内核优化
融合卷积与激活 · 使用cuDNN · cuBLAS
算子融合内核优化
13
图优化与编译器
TorchScript · XLA · Triton
图优化编译器
14
训练超参数调优
学习率调度 · 批大小与GPU利用率的关系 · 正则化与优化器选择
训练超参数调优学习率调度
15
性能调优案例
图像分类模型（ResNet）的训练优…
性能调优案例ResNet
16
性能调优案例
目标检测模型（YOLO）的训练优化实…
性能调优案例YOLO
17
性能调优案例
自然语言处理模型（BERT）的训练优…
性能调优案例BERT
18
性能调优案例
生成对抗网络（GAN）的训练优化实战
性能调优案例GAN
19
性能调优案例
推荐系统模型（DeepFM）的训练优…
性能调优案例DeepFM
20
常见性能瓶颈与解决方案
CPU瓶颈 · GPU利用率低 · 显存不足
常见性能瓶颈解决方案
21
GPU集群管理与调度
Slurm · Kubernetes · NVIDIA GPU Operato…
GPU集群管理
22
模型推理优化
TensorRT部署 · INT8量化 · 模型压缩与加速
模型推理优化TensorRT
23
深度学习容器化
NGC容器 · Docker与Singularity…
深度学习容器化NGC
24
自动调优工具
NVIDIA AutoTune · Optuna与GPU结合
自动调优工具NVIDIA
25
最新硬件特性利用
Ampere/Hopper新特性 · 稀疏性 · Transformer Engine
最新硬件特性利用Ampere/Hoppe…
26
综合实战
从零优化一个大规模深度学习训练任务（…
综合实战从零优化一个大规…
27
性能评估与基准测试
MLPerf基准 · 建立自己的性能基准
性能评估基准测试
28
常见错误与调试
CUDA错误 · 内存泄漏 · 死锁
常见错误调试
29
前沿趋势与展望
GPU架构演进 · AI加速器比较 · 优化技术未来方向
前沿趋势GPU
30
课程总结与进阶路径
核心要点回顾 · 推荐资源 · 持续学习建议
课程总结进阶路径