VIP20
本课程属于：048-宏基因组分析特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

使用GPU加速模型训练技巧分享

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
GPU加速基础
为什么需要GPU加速 · GPU与CPU的区别 · 典型应用场景
GPU加速基础
02
GPU硬件选型
显存容量 · 计算能力（Compute Capab… · 内存带宽
GPU硬件选型
03
CUDA环境搭建
驱动安装 · CUDA Toolkit · cuDNN配置
CUDA环境搭建
04
CUDA编程入门
主机端与设备端内存管理 · cudaMalloc/cudaMem…
CUDA编程入门
05
CUDA内核函数编写
__global__修饰符 · 线程索引计算 · 简单的向量加法示例
CUDA内核函数编写
06
线程层次结构优化
网格（Grid） · 块（Block） · 线程（Thread）的维度配置与性能…
线程层次结构优化Grid
07
共享内存与同步
__shared__变量 · __syncthreads() · bank conflict的规避
共享内存同步
08
存储器层次结构
全局内存 · 常量内存 · 纹理内存
存储器层次结构全局内存
09
归约与扫描优化
树形归约 · 规整化访问 · warp级原语（__shfl_dow…
归约扫描优化
10
PyTorch GPU训练基础
.cuda() · Device管理 · 默认流与非阻塞传输
PyTorchGPU
11
数据加载优化
DataLoader的num_wor… · pin_memory · prefetch_factor设置及…
数据加载优化DataLoader
12
混合精度训练（AMP）
理论基础（FP16 vs FP32） · torch.cuda.amp · Gradient Scaling
AMP混合精度训练
13
梯度累积
模拟大Batch Size · 梯度缩放 · 多步累积的实现与注意事项
梯度累积Batch
14
分布式训练入门
DataParallel vs Di… · GPU间通信与负载均衡
分布式训练入门DataParallel
15
同步批归一化（SyncBN）
跨卡统计量同步 · 适用场景及PyTorch实现
SyncBN同步批归一化
16
模型并行与管道并行
张量切分 · 逐层放置 · Micro-batch调度与显存均衡
模型并行管道并行
17
ZeRO优化器
ZeRO-1/2/3原理 · Offload策略 · DeepSpeed配置实战
ZeRO优化器
18
梯度检查点（Checkpointing）
以计算换显存 · selective checkpoi…
Checkpointin…梯度检查点
19
动态显存管理
torch.cuda.empty_c… · 内存碎片 · 缓存分配器调优（PYTORCH_CU…
动态显存管理torch.cuda.e…
20
TensorFlow GPU训练
tf.config.list_phy… · 内存增长设置
TensorFlowGPU
21
tf.distribute策略详解
MirroredStrategy · MultiWorkerMirrore… · ParameterServerStr…
tf.distribut…策略详解
22
TensorFlow混合精度
tf.keras.mixed_pre… · Policy设置 · Loss Scaling
TensorFlow混合精度
23
XLA编译加速
tf.function(jit_co… · AOT编译 · 静态形状要求
XLA编译加速
24
性能分析工具
Nsight Systems · Nsight Compute · nvprof
性能分析工具Nsight
25
常见瓶颈定位
计算密集型（Compute Boun…
常见瓶颈定位Compute
26
多节点分布式训练
NCCL通信库 · Horovod集成 · SLURM作业脚本编写
多节点分布式训练NCCL
27
GPU集群调度
SLURM分配 · GPU隔离 · MIG（多实例GPU）配置
GPU集群调度
28
模型部署优化
TensorRT导出 · FP16/INT8量化 · 动态形状与Builder优化
模型部署优化TensorRT
29
实战案例
从单卡到8卡训练LLaMA-7B的经… · 包括梯度累积 · ZeRO
实战案例LLaMA-7B
30
总结与最佳实践
建立高效GPU训练工作流的Check… · 常见误区与避坑指南
最佳实践GPU