VIP20
本课程属于：031-英伟达Mellanox高速网络 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买
知脉学社
把知识变为收入

《RoCE与RDMA高速网络配置教程》

从零搭建RoCEv2与RDMA高速网络，聚焦Mellanox/CX系列网卡配置、流控调优、性能压测及故障排查，覆盖数据中心与AI集群真实场景

课程规模
图文体系
30个系统小节
总字数约 9.3 万字，配套6张动态热点交互图表、10张矢量图、22个表格
适宜人群
人群定位
有项目经验的工程师
调试优化人员
架构与性能提升需求人群
资料特色
内容特色
调试现场、性能瓶颈、架构边界和稳定性交付分层处理
包含排障链路、参数取舍、验证表格和工程复盘
强调定位问题、优化方案和提升交付稳定性
学习收获
落地结果
形成调试排障和架构优化思路
看懂性能、稳定性和边界问题的判断方法
提升复杂项目定位、复盘和交付能力
阶段 01 · 第 01-05 节

基础认知篇

基础认知篇：快速理解RoCEv2与RDMA在数据中心和AI集群中的定位，掌握网卡选型

01
课程导论：RoCEv2与RDMA在数据中心与AI集群中的定位
  • RoCEv2
  • RoCEv2对比IB
  • 模块边界收敛
配置
02
RDMA技术栈全景：Verbs API、libibverbs与rdma-core工具链
  • DMA缓冲队列
  • 关键对象
  • RDMA技术栈全景
配置
03
Mellanox ConnectX-5 / 6 / 7网卡固件与驱动版本选型
  • MLNX
  • 规避兼容性问题
  • Mellanox
配置
04
RoCEv2 PFC与ECN：数据中心流控原理与交换机侧配置
  • 参数配置项
  • 理解PFC死锁
  • RoCEv2
配置
05
Linux内核RDMA子系统：核心与核心模块参数调优
  • 参数配置项
  • 队列水位
  • Linux内核RDM
配置
阶段 02 · 第 06-10 节

核心机制篇

核心机制篇：深入GID、PKey、perftest基准测试与Memory

06
RoCEv2 GID索引与PKey配置：多网卡与VLAN隔离场景
  • VLAN隔离场景
  • 参数配置项
  • 验证连通性
配置
07
ibv_devinfo与ibstat：网卡状态与端口属性诊断
  • 网卡状态
  • 使用ibv
  • devinfo
配置
08
perftest套件：ib_write_bw与ib_read_lat性能基准测试
  • 性能取舍表
  • 运行带宽
  • perftest套件
配置
09
RDMA CM连接管理：rdma_cm与librdmacm建立可靠连接
  • DMA缓冲队列
  • 实现连接建立
  • RDMA
配置
10
Memory Registration与MR缓存：ibv_reg_mr与性能陷阱
  • 性能取舍表
  • 执行步骤链
  • 关键对象
配置
阶段 03 · 第 11-15 节

工程实现篇

工程实现篇：实战WR构造、SRQ、DCQCN拥塞控制与硬件卸载，解决多路径与链路聚合

11
Work Request与Completion Queue：WR构造与CQ轮询优化
  • 性能取舍表
  • 最小代码样例
  • Work
代码
12
SRQ与共享接收队列：减少内存占用与连接数扩展
  • 关键对象
  • 参数配置项
  • 测试扩展性提升
配置
13
RoCEv2拥塞控制算法：DCQCN与TIMELY原理与配置
  • 参数配置项
  • 在Mellanox网
  • RoCEv2拥塞控制
配置
14
硬件卸载：Checksum Offload与LRO / GRO对RDMA的影响
  • Checksum
  • 吞吐与延迟的影响
  • 参数配置项
配置
15
多路径与链路聚合：Bonding与LAG在RoCE网络中的实践
  • Bonding
  • 参数配置项
  • 错误码定位
配置
阶段 04 · 第 16-20 节

调试验证篇

调试验证篇：配置NVMe-oF、GPUDirect RDMA与容器化RDMA，掌握N

16
NVMe over Fabrics：基于RoCE的NVMe-oF目标端与发起端配置
  • 参数配置项
  • 搭建NVMe-oF环
  • 使用nvme-cli
配置
17
GPUDirect RDMA：GPU与网卡间零拷贝数据传输配置
  • 参数配置项
  • 实现GPU显存
  • GPUDirect
配置
18
容器化RDMA：Docker与Kubernetes中SR-IOV与RDMA设备插件
  • Docker
  • 使用SR-IOV
  • 验证跨容器通信
配置
19
RoCEv2多子网与路由：跨交换机与三层网关的RDMA通信
  • 跨交换机
  • 参数配置项
  • 实现跨子网RDMA通
配置
20
性能调优：NUMA亲和性、CPU隔离与中断绑定
  • NUMA亲
  • 绑定网卡中断
  • 隔离CPU核心
配置
阶段 05 · 第 21-25 节

高级专题篇

高级专题篇：定位链路丢包、CRC错误与PFC死锁，学会tcpdump与硬件抓包分析

21
故障排查：链路丢包、CRC错误与PFC死锁定位
  • 链路丢包
  • 使用ethtool
  • 分析PFC死锁根因
配置
22
抓包分析：tcpdump与Wireshark解析RoCEv2报文与CNP帧
  • tcpdump
  • CNP拥塞通知帧
  • 验证流控行为
配置
23
ibdump与Mellanox硬件抓包：网卡内部报文捕获
  • 网卡内部报文捕获
  • 使用ibdump工具
  • 执行步骤链
配置
24
多QP并行与WQ调度：提升多流并发吞吐的工程实践
  • 关键对象
  • 调整WQ调度策略
  • 操作清单
配置
25
RDMA原子操作与Fetch-Add：分布式锁与计数器实现
  • 分布式锁
  • 使用RDMA原子操作
  • 性能取舍表
配置
阶段 06 · 第 26-30 节

项目收束篇

项目收束篇：实现安全加密、持久化内存、Ansible自动化部署与

26
RoCEv2安全：IPsec与MACsec加密对RDMA性能的影响
  • 性能取舍表
  • 参数配置项
  • 测试吞吐
配置
27
持久化内存与RDMA：PMem与DAX设备零拷贝读写
  • PMem
  • 参数配置项
  • 测试持久化写入延迟
配置
28
大规模集群部署：Ansible自动化配置RoCE网络与固件升级
  • 参数配置项
  • 确保一致性
  • 大规模集群部署
配置
29
性能监控与告警：Prometheus与Grafana采集RDMA计数器
  • Prometheus
  • 使用mlx
  • 搭建监控面板
配置
30
综合实战：搭建3节点RoCEv2集群运行分布式存储应用
  • 搭建3节点RoCEv
  • 从零搭建RoCE集群
  • 部署Ceph或Lus
配置