01
CUDA与GPU计算概述
GPU架构演进 · CUDA生态全景 · 异构计算模型 · 课程目标与前置知识
基础概念
02
CUDA开发环境搭建
NVIDIA驱动 · CUDA Toolkit · cuDNN · Docker镜像 · 环境验证
环境配置
03
CUDA编程模型入门
主机与设备 · 核函数 · 线程层次 · 第一个CUDA程序
编程入门
04
CUDA内存管理
全局/共享/常量/纹理内存 · 分配释放 · 内存拷贝
内存优化
05
CUDA线程与块
线程块配置 · 网格维度 · 索引计算 · 线程束Warp
线程并行
06
CUDA并行归约
归约算法 · 共享内存优化 · 束发散处理 · 原子操作
算法共享内存
07
CUDA流与事件
流概念 · 同步 · 事件计时 · 多流并发 · 默认流
并发异步
08
CUDA错误处理与调试
错误码检查 · cuda-gdb · Nsight Systems · Nsight Compute
调试性能
09
CUDA矩阵乘法优化
朴素实现 · 共享内存分块 · 寄存器优化 · 向量化 · Bank Conflict
优化矩阵
10
CUDA卷积操作
im2col · 共享内存卷积 · Winograd · cuDNN调用
卷积cuDNN
11
CUDA图(Graph)计算
CUDA Graph概念 · 图捕获与实例化 · 图执行 · 动态/静态图
图优化
12
CUDA统一内存
统一内存模型 · 页面错误 · 内存迁移 · Prefetch/Advise
统一内存迁移
13
多GPU编程基础
多GPU拓扑 · 点对点通信 · 多流多GPU · 负载均衡
多GPU通信
14
NCCL通信库入门
NCCL安装 · AllReduce · Broadcast · AllGather · ReduceScatter
NCCL集合通信
15
NCCL通信优化
Ring/Tree算法 · NVLink/InfiniBand · 通信计算重叠
优化网络
16
分布式训练框架
数据并行 · 模型并行 · 流水线并行 · 混合并行
分布式策略
17
Horovod分布式训练
Horovod架构 · MPI集成 · TF/PyTorch集成 · 弹性训练
HorovodMPI
18
DeepSpeed框架
ZeRO优化器 · ZeRO-Stage · ZeRO-Offload · 梯度累积
DeepSpeedZeRO
19
Megatron-LM模型并行
张量并行 · 序列并行 · 流水线并行 · 1D/2D并行
Megatron模型并行
20
Kubernetes集群管理
K8s基础 · GPU调度 · NVIDIA Device Plugin · Volcano
K8s调度
21
Slurm集群管理
Slurm架构 · GPU分区 · 作业提交 · 资源限制 · 作业数组
Slurm作业
22
容器化CUDA应用
Dockerfile · NVIDIA Container Toolkit · 多阶段构建 · 镜像优化
Docker容器
23
集群网络配置
InfiniBand · RoCE · 网络拓扑 · 带宽测试
网络InfiniBand
24
分布式文件系统
NFS · Lustre · 数据预处理 · 缓存策略
存储文件系统
25
集群监控与日志
Prometheus · Grafana · GPU指标 · 日志聚合
监控可观测
26
性能基准测试
单卡基准 · 多卡扩展性 · 强/弱扩展 · Amdahl定律
基准扩展性
27
故障排查与恢复
节点故障 · 通信超时 · 内存溢出 · 训练中断恢复
排障恢复
28
生产环境部署
模型服务化 · Triton Inference Server · 动态批处理 · 量化
部署推理
29
成本优化
Spot实例 · 弹性伸缩 · 资源碎片整理 · 功耗管理
成本弹性
30
案例实战
大语言模型训练部署 · 推荐系统推理 · 计算机视觉管线 · 复盘
实战项目