01
CUDA与多卡概述
GPU计算发展史 · CUDA架构简介 · 多卡并行应用场景 · 课程目标与路径
入门概览
02
GPU硬件架构基础
SM · CUDA Core · Tensor Core · 显存层次 · PCIe & NVLink
硬件核心
03
CUDA开发环境搭建
驱动安装 · CUDA Toolkit · cuDNN · 环境变量 · 验证安装
环境配置
04
多卡驱动适配原理
多卡驱动模型 · 驱动硬件交互 · 资源分配 · 版本兼容性
驱动原理
05
Linux系统下的多卡配置
Linux驱动 · nvidia-smi详解 · 持久化模式 · GPU隔离绑定
Linux运维
06
Windows系统下的多卡配置
Windows驱动 · TCC/WDDM · 电源管理 · 性能监控
Windows驱动
07
CUDA编程模型基础
主机与设备 · 核函数 · 线程层次 · 内存管理基础
编程入门
08
多卡编程模型
单主机多设备 · 多主机多设备 · UVA · 多流并发
多卡模型
09
多卡数据传输与通信
cudaMemcpy跨设备 · P2P · NCCL基础 · 带宽优化
通信NCCL
10
NCCL深入解析
安装配置 · AllReduce/AllGather · 环形/树形算法 · 调优
NCCL性能
11
多卡同步与互斥
cudaDeviceSynchronize · 事件同步 · 流同步 · 全局同步
同步并发
12
多卡内存管理
统一内存 · 多设备分配 · 内存池 · 带宽测试
内存优化
13
多卡任务分配策略
静态/动态分配 · 负载均衡 · 任务调度框架
调度策略
14
多卡计算性能分析
Nsight Systems · Nsight Compute · 瓶颈定位 · 利用率
分析工具
15
多卡驱动调试与排错
驱动日志 · 错误码 · 常见问题 · 回滚升级
调试驱动
16
多卡环境下的CUDA错误处理
cudaError_t · 异步错误 · 设备异常 · 健壮性
错误健壮
17
多卡深度学习框架适配
TensorFlow · PyTorch (DataParallel/DDP) · Horovod
框架DL
18
多卡推理优化
TensorRT多卡 · 推理服务 · 动态批处理 · 吞吐/延迟
推理优化
19
多卡虚拟化与容器化
vGPU · Docker GPU · Kubernetes · MIG
虚拟化容器
20
多卡驱动安全与权限
GPU权限 · CUDA沙箱 · 多用户隔离 · 安全实践
安全权限
21
多卡集群管理
拓扑感知 · Slurm · GPU监控 · 故障恢复
集群管理
22
多卡通信优化
NVLink拓扑 · GPU Direct RDMA · InfiniBand · 跨节点
通信高速
23
多卡混合精度训练
FP16/BF16/INT8 · AMP · 多卡混合精度 · 数值稳定
混合精度训练
24
多卡模型并行
张量并行 · 流水线并行 · 序列并行 · Megatron-LM
模型并行大模型
25
多卡数据并行
同步/异步SGD · 梯度累积 · 通信压缩 · 量化稀疏
数据并行梯度
26
多卡驱动固件升级
GPU固件更新 · VBIOS · NVFlash · 回滚策略
固件升级
27
多卡环境基准测试
bandwidthTest · P2P带宽 · NCCL测试 · 综合基准
测试基准
28
多卡驱动适配案例实战
AI训练平台 · 科学计算集群 · 推理服务部署
实战案例
29
多卡驱动适配最佳实践
驱动选型 · 配置清单 · 调优checklist · 自动化脚本
最佳实践运维
30
课程总结与展望
多卡技术趋势 · CXL · 课程回顾 · 学习资源推荐
总结展望