VIP20
本课程属于：012-GPU算力集群架构与运维 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据中心多卡并行通信优化与实操

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 多卡并行通信在数据中心的重要性
课程导入学习目标
02
并行计算基础
并行计算概念 · 并行编程模型（如MPI · OpenMP
并行计算基础并行计算概念
03
多卡通信硬件基础
GPU拓扑结构（如NVLink · PCIe） · 网络架构（如InfiniBand
多卡通信硬件基础GPU
04
通信原语与模式
点对点通信 · 集合通信（如AllReduce · AllGather
通信原语模式
05
主流并行通信库
NCCL · MPI · Gloo等库的安装
主流并行通信库NCCL
06
通信性能分析
通信瓶颈识别 · 性能分析工具（如nsys · ncu
通信性能分析通信瓶颈识别
07
通信优化策略
数据压缩 · 梯度压缩 · 通信与计算重叠
通信优化策略数据压缩
08
拓扑感知通信
根据GPU拓扑优化通信路径 · 利用NVLink和网络拓扑减少通信开…
拓扑感知通信GPU
09
分布式训练框架集成
PyTorch DDP · Horovod · DeepSpeed等框架中的通信优化…
分布式训练框架集…PyTorch
10
案例实战
单机多卡通信优化
案例实战单机多卡通信优化
11
案例实战
多机多卡通信优化
案例实战多机多卡通信优化
12
常见问题与调试
通信超时 · 死锁 · 资源竞争等常见问题的诊断与解决
常见问题调试
13
性能调优进阶
混合精度训练 · 梯度压缩 · 通信调度等高级优化技巧
性能调优进阶混合精度训练
14
大规模集群通信
大规模集群中的通信模式 · 可扩展性挑战与解决方案
大规模集群通信大规模集群
15
综合项目实战
设计并优化一个多卡并行训练任务 · 实现通信性能提升
综合项目实战设计并优化一个多…
16
课程总结与展望
回顾关键知识点 · 探讨未来趋势（如量子通信 · 光互连）
课程总结回顾关键知识点
17
扩展学习
推荐阅读资料 · 开源项目 · 社区资源
扩展学习推荐阅读资料
18
实践作业
完成一个通信优化实验并提交报告
实践作业完成一个通信优化…
19
考试与评估
理论测试与实操考核
考试评估
20
答疑与讨论
常见疑问解答与互动讨论
答疑讨论
21
通信库源码分析
深入NCCL源码理解通信机制
通信库源码分析NCCL
22
网络协议与拥塞控制
数据中心网络协议（如RoCEv2）与…
网络协议拥塞控制
23
通信调度与负载均衡
动态调度通信任务 · 平衡负载
通信调度负载均衡
24
容错与恢复
通信故障检测与恢复机制
容错恢复
25
性能基准测试
使用标准基准（如NCCL tests…
性能基准测试NCCL
26
云环境下的多卡通信
在云虚拟机或容器中优化通信
云环境下的多卡通…云虚拟机或容器
27
异构计算通信
CPU与GPU · 不同GPU型号间的通信优化
异构计算通信CPU
28
安全与隔离
多租户环境下的通信隔离与安全
安全隔离
29
前沿技术探索
如NVLink Switch · CXL等新技术对通信的影响
前沿技术探索NVLink
30
综合提升
设计一个端到端的分布式训练系统 · 集成通信优化方案
综合提升设计一个端到端的…