1. 课程导入
RoCEv2（RDMA over Converged Ethernet version 2）作为当前高性能计算、分布式存储和AI智算中心最主流的低延迟网络技术，其部署复杂度远高于传统TCP/IP网络。它要求底层以太网提供无损传输能力，并依赖PFC（优先级流控）、ECN（显式拥塞通知）、DCQCN（数据中心量化拥塞通知）等机制协同工作。本章作为整个课程的起点，将明确学习路径、界定适用人群、展示完整的知识体系框架，并详细说明搭建实验环境所需的硬件选型、软件版本和网络拓扑。只有将实验环境准备到位，后续章节的配置命令和调优参数才有落地的载体。
上图展示了本课程的核心知识模块与实验环境的基本架构。课程内容从基础原理到实战调优层层递进，而实验环境则采用最经典的两节点加一台无损交换机的拓扑，既保证了实验的真实性，又控制了成本与复杂度。下面我们将逐一拆解各部分的细节。
1.1 课程学习目标与适用人群
本课程的目标是培养学员独立完成RoCEv2网络从规划设计、部署实施到性能调优与故障排查的全流程能力。具体而言，完成本课程后，学员应能够：
- 理解无损以太网的核心机制：深入掌握PFC优先级流控的工作原理、ECN显式拥塞通知的标记与反馈过程，以及DCQCN等拥塞控制算法的参数含义与调节逻辑。
- 独立完成RoCEv2网络配置：能够在主流交换机（如Cisco Nexus、Mellanox Spectrum）和服务器网卡（如Mellanox ConnectX系列）上正确配置DCB（数据中心桥接）、PFC、ECN和QoS映射。
- 具备拥塞控制调优能力：能够根据实际业务流量模型，调整DCQCN的α、g、速率恢复等参数，在低延迟和高吞吐之间找到最佳平衡点。
- 掌握性能验证与排障方法：熟练使用perftest、ethtool、ibstatus、rdma-core等工具进行带宽、延迟、丢包率测试，并能通过计数器分析定位PFC死锁、ECN风暴等典型问题。
本课程适合具备一定网络基础（熟悉TCP/IP、VLAN、QoS基本概念）的工程师。如果你是刚接触RDMA的初学者，建议先补充学习InfiniBand与RDMA的基本架构；如果你是有经验的网络专家，可以直接从第6章（PFC配置）开始选择性学习。
1.2 课程大纲概览：五大模块递进式学习
整个课程共30章，分为五个逻辑模块，每个模块解决一个核心问题。下表展示了完整的章节结构与学习重点：
| 模块 | 章节范围 | 核心主题 | 关键技能 |
|---|---|---|---|
| 模块一 | 第1-5章 | RoCEv2基础原理与协议栈 | 理解RoCEv2报文格式、GID/LID寻址、RDMA动词操作 |
| 模块二 | 第6-12章 | 无损以太网配置 | DCB/PFC配置、ETS带宽管理、缓冲区分配、VLAN映射 |
| 模块三 | 第13-20章 | 拥塞控制机制 | ECN配置、DCQCN参数调优、CNP（拥塞通知包）处理 |
| 模块四 | 第21-26章 | 性能调优与故障排查 | perftest性能测试、计数器分析、PFC死锁检测、日志分析 |
| 模块五 | 第27-30章 | 综合实战案例 | 存储网络RoCEv2部署、AI智算中心网络设计、跨厂商互通 |
模块一和模块二为所有后续内容奠定基础，即使你已有一定经验，也建议快速浏览第3-4章关于RoCEv2报文封装和GID索引的内容，因为后续所有排障都涉及对这些底层细节的理解。模块三是本课程的精华所在，DCQCN参数调优需要结合理论分析和实验验证，我们会在第15-18章提供多个调优案例。
1.3 实验环境准备：硬件选型与软件版本
搭建一套可用的RoCEv2实验环境，需要准备以下硬件和软件资源。我们推荐使用Mellanox（现NVIDIA）产品线，因为其驱动和工具链最成熟，且与RoCEv2的兼容性最好。
1.3.1 硬件清单
- 服务器（2台）：建议配置Intel Xeon或AMD EPYC处理器，至少16GB内存，PCIe 3.0/4.0插槽。操作系统使用Ubuntu 22.04 LTS或CentOS 8 Stream。
- RDMA网卡（2块）：推荐Mellanox ConnectX-5或ConnectX-6系列，支持25GbE/100GbE速率。务必确认网卡型号支持RoCEv2（所有ConnectX-4及以上均支持）。
- 无损以太网交换机（1台）：推荐Mellanox Spectrum-2或Cisco Nexus 3132Q-V，必须支持DCB、PFC、ECN和显式拥塞通知。如果预算有限，可以使用支持RoCE的软交换机（如SONiC），但不建议用于生产级实验。
- 线缆与光模块：25GbE SFP28或100GbE QSFP28线缆，建议使用原厂线缆以避免兼容性问题。
1.3.2 软件版本要求
# 推荐软件版本组合（已验证兼容性）
操作系统: Ubuntu 22.04 LTS (内核 5.15+)
Mellanox OFED: MLNX_OFED_LINUX-5.8-1.0.1.1 (或更高)
网卡固件: ConnectX-6 固件版本 xx.38.1002 (或更高)
驱动: mlx5_core (内核自带或OFED提供)
管理工具: mstflint, mlxconfig, ethtool, perftest
1.4 实验网络拓扑与IP规划
我们采用最简化的两节点拓扑，但保留了生产环境的所有关键要素。数据网络使用独立的VLAN和网段，管理网络与数据网络物理隔离，避免管理流量干扰RDMA性能测试。
| 接口 | 节点 | IP地址 | VLAN | 用途 |
|---|---|---|---|---|
| ens1f0 | Node-1 | 10.0.0.1/24 | 100 | RoCEv2数据网络 |
| ens1f0 | Node-2 | 10.0.0.2/24 | 100 | RoCEv2数据网络 |
| ens1f1 | Node-1 | 192.168.1.1/24 | - | 管理网络（SSH） |
| ens1f1 | Node-2 | 192.168.1.2/24 | - | 管理网络（SSH） |
交换机侧需要配置两个VLAN接口：VLAN 100用于数据网络，VLAN 1（默认）用于管理。交换机管理IP建议设置为192.168.1.254，与服务器管理网络同网段。
1.5 环境验证与基线测试
在开始后续章节的配置之前，必须先验证实验环境的基本连通性和RDMA功能是否正常。以下是标准的验证流程：
- 物理层检查：使用
ethtool ens1f0确认网卡链路状态为UP，速率为25000Mb/s。 - 驱动与固件确认：运行
ibv_devinfo查看RDMA设备状态，确认端口状态为Active，链路层为Ethernet。 - 基础连通性测试：使用
ping 10.0.0.2验证IP层连通。 - RDMA连通性测试：使用
rping -s -a 10.0.0.1和rping -c -a 10.0.0.1验证RDMA CM连接是否正常。 - 带宽基线测试：使用
ib_write_bw -a -d mlx5_0测试写带宽，预期达到线速的90%以上。
1.6 常见误区与学习路径建议
在课程开始前，有必要澄清几个常见误区，避免学员在学习过程中走弯路：
- 误区一：RoCEv2必须使用专用交换机。实际上，只要交换机支持DCB和ECN，普通数据中心交换机也能承载RoCEv2流量，但需要精细配置缓冲区。
- 误区二：PFC配置越多越好。PFC优先级数量过多会导致缓冲区碎片化，反而降低性能。通常建议只配置1-2个无损优先级。
- 误区三：ECN标记阈值越小越好。过小的阈值会导致频繁标记，触发过度降速，吞吐量下降。阈值需要根据网络时延带宽积（BDP）计算。
- 误区四：忽略管理网络隔离。管理流量（如SSH、监控）与RDMA流量混跑，会导致PFC暂停帧误触发，影响无损性能。
建议的学习路径是：先完成本章实验环境搭建，然后按顺序学习第2-5章理解协议原理，第6-12章完成无损配置，第13-20章深入拥塞控制调优，最后通过第27-30章的实战案例将知识串联起来。每章学习后，务必在实验环境中验证至少一个关键配置或参数。