所属分类：工控物联网与网络通信 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

AI训练集群RDMA通信优化技术

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
AI训练集群通信瓶颈概述 · RDMA技术演进 · 课程学习目标与整体框架
课程导入AI
02
RDMA基础概念
RDMA与传统TCP/IP协议栈对比 · InfiniBand/RoCE/iW…
RDMA基础概念
03
AI训练集群网络拓扑
常见拓扑结构（Fat-Tree · Torus · DGX/GPU互联）
AI训练集群网络拓扑
04
RDMA通信原语与操作
Send/Receive · RDMA Read/Write · 原子操作
RDMA通信原语
05
RDMA编程接口
libibverbs · RDMA CM · Verbs API核心函数
RDMA编程接口
06
RDMA内存管理
注册内存区域（MR） · 内存钉扎 · 零拷贝原理
RDMA内存管理
07
AI训练通信模式分析
AllReduce · AllGather · ReduceScatter
AI训练通信模式分析
08
集合通信库基础
NCCL · OpenMPI · Gloo等库的架构
集合通信库基础NCCL
09
NCCL通信优化
NCCL的Ring与Tree算法 · 拓扑感知 · 多通道并行
NCCL通信优化
10
RDMA拥塞控制
ECN · DCQCN · Timely等拥塞控制机制
RDMA拥塞控制
11
RDMA可靠性机制
Go-Back-N · 选择性重传 · RoCE的丢包处理
RDMA可靠性机制
12
RDMA性能调优工具
perftest · ib_write_bw · ib_read_lat
RDMA性能调优工具
13
网络性能基准测试
带宽 · 延迟 · 消息速率
网络性能基准测试带宽
14
AI训练通信瓶颈诊断
常见性能问题（CPU中断 · 内存带宽 · PCIe瓶颈
AI训练通信瓶颈诊断
15
RDMA与GPU协同优化
GPU Direct RDMA · GPUDirect Storage · CUDA与RDMA异步流水线
RDMAGPU
16
多租户与虚拟化场景
SR-IOV · VF直通 · 容器网络（CNI）中的RDMA支持与…
多租户虚拟化场景
17
大规模集群通信优化
分层通信 · 全局调度 · 流量均衡
大规模集群通信优…分层通信
18
混合精度与通信压缩
梯度压缩 · 量化 · 稀疏化
混合精度通信压缩
19
通信与计算重叠
流水线并行 · 梯度同步与反向传播重叠 · 异步通信设计
通信计算重叠
20
故障恢复与容错
RDMA链路故障检测 · 重连机制 · 训练任务检查点与通信恢复
故障恢复容错
21
安全与隔离
RDMA网络安全威胁 · 访问控制 · 加密与隔离技术
安全隔离
22
案例实战
基于NCCL的训练集群RD…
案例实战NCCL
23
案例实战
RoCEv2网络下分布式深度学习性能…
案例实战RoCEv2
24
案例实战
多机多卡AllReduce通信瓶颈分…
案例实战AllReduce
25
案例实战
RDMA与GPU Direct P2…
案例实战RDMA
26
常见问题与解决方案
RDMA连接失败 · 性能不达标 · 丢包重传
常见问题解决方案
27
前沿技术
NVLink/NVSwitch与RD… · CXL对通信的影响 · 智能网卡（DPU）卸载
前沿技术NVLink/NVSwi…
28
综合项目
设计一套AI训练集群RDMA通信优化… · 协议 · 参数
综合项目AI
29
综合提升
从系统角度优化端到端训练性能 · 结合通信 · 计算
综合提升从系统角度优化端…
30
课程总结与展望
核心知识回顾 · 最佳实践 · 未来趋势与学习路径建议
课程总结核心知识回顾