RoCE基础：RDMA概念、RoCEv1/v2协议、RoCE与InfiniBand对比

2.1 RDMA的核心思想：绕过内核，直达远端内存

RDMA（Remote Direct Memory Access）是一种将数据从一台主机的内存直接传输到另一台主机内存的技术，全程不经过发送端和接收端的CPU、操作系统内核以及中间软件协议栈。传统TCP/IP路径中，数据需要经过内核协议栈的多次拷贝（用户态→内核态→网卡→网络→对端内核→对端用户态），而RDMA通过网卡硬件（RNIC，RDMA Network Interface Card）直接完成数据的封装、路由与传输，应用层只需在通信前注册内存区域并下发描述符，之后数据搬运完全由硬件完成。

RDMA的核心价值体现在三个维度：

低延迟：微秒级甚至亚微秒级端到端延迟，远低于TCP/IP的数十微秒。
高带宽：充分利用网络物理带宽，减少CPU中断与拷贝带来的瓶颈。
低CPU占用：CPU仅参与连接建立与完成通知，不参与数据面搬运。

RDMA的三种主要实现技术为：InfiniBand（IB）、RoCE（RDMA over Converged Ethernet）和iWARP（Internet Wide Area RDMA Protocol）。其中RoCE因可运行在标准以太网之上，成为当前GPU集群组网的主流选择。

2.2 RoCEv1与RoCEv2协议：从链路层到IP路由

RoCE协议由InfiniBand Trade Association（IBTA）定义，旨在将RDMA能力映射到以太网物理层。RoCEv1与RoCEv2在封装格式和网络适用范围上有本质区别。

2.2.1 RoCEv1：链路层承载

RoCEv1将IB的报文直接封装在以太网链路层中，使用以太网类型字段0x8915标识。它要求通信双方处于同一个二层广播域（即同一VLAN或同一物理子网），无法跨路由器转发。RoCEv1对网络丢包极为敏感，依赖无损以太网（Priority Flow Control，PFC）来保证不丢包。

2.2.2 RoCEv2：UDP/IP承载

RoCEv2将IB报文封装在UDP/IPv4或IPv6报文内，使用目的UDP端口4791作为RoCEv2的标识。这一改动使RoCE流量可以像普通UDP流量一样被三层路由转发，突破了二层限制，支持大规模跨子网组网。RoCEv2报文结构如下：

+------------------+------------------+------------------+------------------+
|  以太网头 (14B)   |  IP头 (20B)      |  UDP头 (8B)      |  IB BTH+Payload  |
|  MAC地址          |  源/目的IP       |  源端口/4791     |  基带传输头+数据  |
+------------------+------------------+------------------+------------------+

RoCEv2的UDP封装带来两个关键影响：

ECMP（等价多路径）：UDP源端口可基于流哈希实现负载均衡，提升多路径利用率。
可路由性：依赖IP路由协议（如BGP、OSPF）实现跨数据中心互联。

但RoCEv2也继承了UDP的弱流控特性，必须依赖网络层拥塞控制（如DCQCN、ECN）和链路层PFC协同，才能在高负载下维持无损传输。

2.3 RoCE与InfiniBand对比：架构、生态与选型

InfiniBand是RDMA的原生网络，拥有独立的链路层、网络层和传输层协议，以及专用的交换机与网卡。RoCE则是在以太网基础设施上模拟IB的传输语义。两者对比如下：

对比维度	InfiniBand	RoCEv2
物理层	IB专用线缆与交换机	标准以太网（25/100/400G）
网络层	IB全局路由（LRH/GRH）	IP路由（IPv4/IPv6）
流控机制	链路层基于信用（Credit）的流控	PFC + ECN + DCQCN
拥塞控制	IB CC（拥塞控制）原生支持	依赖交换机与网卡协同（如DCQCN）
生态成熟度	HPC领域成熟，但设备价格高	以太网生态丰富，成本低，与云网络兼容
典型场景	超算中心、高性能存储	GPU集群、分布式训练、数据中心
运维复杂度	独立网络，需专用工具	复用现有以太网运维体系

在GPU集群场景中，RoCEv2已成为事实标准。原因在于：现代GPU服务器普遍配备25/100/400G以太网端口，RoCEv2可直接复用现有交换机与线缆；同时，NVIDIA的GPU通信库（NCCL）对RoCEv2做了深度优化，支持自适应路由和拥塞控制算法。

2.4 案例：RoCEv2在GPU集群中的部署拓扑

以一个典型的8节点GPU训练集群为例，每节点配置8张GPU和1张100G RoCE网卡（如ConnectX-6/7）。网络拓扑采用Spine-Leaf架构，Leaf交换机负责接入服务器，Spine交换机负责跨Leaf转发。RoCEv2流量通过UDP端口4791进行标识，交换机可基于该端口识别RoCE流并应用QoS策略。

        +------------------+
        |   Spine交换机 x2  |
        +--------+---------+
                 |
        +--------+---------+
        |   Leaf交换机 x4   |
        +--------+---------+
                 |
        +--------+---------+
        |   GPU服务器 x8    |
        |  100G RoCE网卡   |
        +------------------+

部署时需注意：

所有交换机端口启用PFC（优先级3），并配置ECN阈值。
服务器网卡开启DCQCN，设置合理的CNP（拥塞通知包）速率。
使用NCCL的NCCL_IB_TIMEOUT和NCCL_IB_SL参数调整RoCE传输行为。

2.5 常见误区与复盘

误区1：认为RoCEv2不需要无损网络。虽然RoCEv2使用UDP封装，但RDMA语义要求数据包不丢失。一旦发生丢包，重传机制会引发严重的性能悬崖（吞吐量下降90%以上）。因此，PFC和ECN的配置是RoCEv2部署的硬性前提，而非可选项。

误区2：忽略PFC的副作用。PFC虽然能防止丢包，但可能引发队头阻塞和死锁。例如，当多个优先级共享同一物理链路时，一个优先级的暂停帧会阻塞其他优先级流量。建议将RoCE流量隔离到独立VLAN或专用优先级队列，并限制PFC的触发范围。

复盘建议：在RoCEv2网络上线前，务必进行丢包敏感性测试。使用ib_write_bw或perftest工具，在背景流量注入下观察带宽曲线。若带宽从满速率骤降，说明PFC或ECN配置不当，需检查交换机缓冲区和网卡参数。

另一个常见误区是混淆RoCEv1与RoCEv2的兼容性。RoCEv1和RoCEv2的报文格式完全不同，无法互通。在混合组网时，必须确保同一RDMA通信域内所有节点使用相同版本。建议新部署一律采用RoCEv2，以支持三层路由和更灵活的拓扑。

最后，不要忽视UDP源端口的哈希均匀性。RoCEv2的ECMP依赖UDP源端口进行负载均衡，若源端口固定或变化范围过小，会导致流量哈希不均，部分链路拥塞而其他链路空闲。NVIDIA网卡驱动默认使用动态源端口，但需确认交换机哈希算法包含UDP源端口字段。