3. RoCE技术原理：RoCEv1/v2协议栈、RDMA机制、拥塞控制基础

3.1 从“拷贝”到“直通”：RDMA的核心思想

传统TCP/IP网络通信中，数据从一台服务器发送到另一台服务器，需要经过操作系统内核协议栈的多次内存拷贝。以一次典型的远程读取为例，数据从远端服务器磁盘或内存读出后，先拷贝到内核缓冲区，再拷贝到网卡发送队列；接收端则从网卡缓冲区拷贝到内核，再从内核拷贝到用户态应用程序。这个过程不仅消耗大量CPU资源，还引入了数十微秒的延迟。

RDMA（Remote Direct Memory Access，远程直接内存访问）的核心思想是绕过内核，让网卡直接读写对端服务器的用户态内存。发送端应用程序将数据缓冲区地址、长度和目的端内存地址直接告诉RDMA网卡，网卡通过DMA从用户内存取数并封装成网络报文发送；接收端网卡根据报文中的内存偏移信息，直接将数据写入用户指定的缓冲区，全程无需CPU参与数据搬运。由此，单次远程读写的延迟可以从TCP/IP的数十微秒降低到1~3微秒，CPU占用率也大幅下降。

3.2 RoCEv1与RoCEv2协议栈对比

RoCE（RDMA over Converged Ethernet，融合以太网上的RDMA）是将RDMA机制运行在以太网上的技术方案。它分为两个版本，协议栈结构有本质差异：

协议层	RoCEv1	RoCEv2
上层协议	IB Transport（包括IBA全局路由头、BTH/ETH等）
网络层	无（直接基于以太网MAC）	UDP/IP（目标端口4791）
数据链路层	以太网（EtherType 0x8915）	以太网（EtherType 0x0800，即IPv4）
路由能力	仅限同一二层广播域（L2）	支持三层路由（L3），可跨子网
MTU要求	建议使用巨型帧（MTU 9000或9216）

RoCEv1的报文格式为：以太网头（含VLAN标签）→ IB全局路由头（LRH）→ IB基传输头（BTH）→ 数据载荷 → ICRC。由于没有IP层，RoCEv1报文无法通过路由器转发，只能在同一个二层VLAN内通信，这极大限制了其在大规模数据中心的应用。

RoCEv2在RoCEv1基础上引入了UDP/IP封装，报文格式变为：以太网头 → IP头 → UDP头（目的端口4791）→ IB BTH → 数据载荷 → ICRC。UDP封装使得RoCEv2报文可以被标准三层交换机或路由器转发，从而支持跨Spine-Leaf架构的多路径负载均衡（基于ECMP）。同时，UDP源端口号由网卡根据流特征动态生成，用于哈希散列，实现不同RDMA流在多条等价路径上的负载分担。

3.3 RDMA核心机制：队列对与内存注册

RDMA通信的基础是队列对（QP，Queue Pair）模型。每个QP由一对队列组成：发送队列（SQ，Send Queue）和接收队列（RQ，Receive Queue）。应用程序通过向SQ投递“工作请求”（WR，Work Request），网卡硬件异步执行后将完成情况写入“完成队列”（CQ，Completion Queue）中的“完成队列元素”（CQE，Completion Queue Entry）。

RDMA支持四种基本操作类型：

• SEND/RECV：类似传统消息传递，发送端主动发送数据，接收端预先投递接收缓冲区。
• RDMA WRITE：发送端直接将对端内存地址作为目标，将本地数据写入远端内存，接收端CPU无感知。
• RDMA READ：发送端指定远端内存地址和本地缓冲区，从远端内存读取数据到本地，接收端CPU无感知。
• RDMA ATOMIC：对远端内存执行原子比较交换或取后加操作，用于分布式锁等场景。

在通信前，两端必须完成内存注册（Memory Registration）。注册过程将用户态虚拟内存区域锁定在物理内存中，并生成L_Key（本地键）和R_Key（远端键）。网卡硬件通过L_Key验证本地访问权限，通过R_Key验证远端访问权限。只有持有有效R_Key的远端节点才能对该内存区域执行RDMA读写，这是RDMA安全模型的基础。

// 伪代码：RDMA通信建立流程（以Verbs API为例）
1. 两端分别创建QP：ibv_create_qp()
2. 两端交换QP编号、LID/GID、内存区域的R_Key等信息（通常通过TCP带外通道）
3. 两端将QP状态从RESET改为INIT，再改为RTR（Ready to Receive）
4. 发起端将QP状态改为RTS（Ready to Send）
5. 发起端投递RDMA WRITE工作请求，指定远端内存地址和R_Key
6. 网卡硬件执行DMA写操作，完成后在CQ中产生完成通知

3.4 拥塞控制基础：无损网络与PFC/ECN

RoCE对报文丢失极其敏感。与TCP不同，RoCEv2的流控机制依赖硬件重传（Go-Back-N），即使单个报文丢失也可能导致大量重传，吞吐量急剧下降。因此，RoCE网络通常要求构建无损以太网（Lossless Ethernet）。

无损网络依赖两大机制：

1. PFC（Priority Flow Control，优先级流控）：基于IEEE 802.1Qbb，在二层对特定优先级队列进行暂停/恢复控制。当接收端缓冲区超过阈值时，向上游发送PFC暂停帧，请求其暂停发送该优先级的流量。PFC是逐跳机制，可能引发拥塞扩散（一个慢速接收端导致整条链路阻塞）。
2. ECN（Explicit Congestion Notification，显式拥塞通知）：基于IP头部的ECN字段（ECT和CE位）。交换机检测到队列深度超过阈值时，将报文IP头标记为CE（Congestion Experienced）。接收端收到CE标记后，通过CNP（Congestion Notification Packet）报文反馈给发送端，发送端据此降低发送速率。

RoCEv2拥塞控制的核心流程为：

发送端速率下降 → 交换机队列深度回落 → 停止ECN标记 → 接收端停止发送CNP → 发送端逐渐恢复速率（Additive Increase）

实际部署中，通常采用DCQCN（Data Center Quantized Congestion Notification）算法：发送端收到CNP后，将当前速率乘以一个因子（如0.5～0.8）进行乘性下降；之后每个时间窗口内未再收到CNP，则速率做加性增加。这种“乘性减、加性增”的策略与TCP的AIMD类似，但粒度更细、响应更快。

3.5 案例复盘：RoCEv2跨Spine交换机通信

某数据中心采用Spine-Leaf架构，两台服务器分别接入不同的Leaf交换机，需要通过Spine交换机进行RoCEv2通信。组网参数如下：

• 服务器A（IP：10.0.1.10）接入Leaf-1，服务器B（IP：10.0.2.10）接入Leaf-2
• Leaf-1与Spine-1、Spine-2之间运行ECMP，Leaf-2同理
• 所有交换机端口启用PFC优先级3，ECN阈值设置为队列深度200KB

通信流程：

1. 服务器A的RDMA网卡构造RoCEv2报文，源UDP端口由哈希生成（如12345），目的UDP端口4791，目的IP为10.0.2.10。
2. Leaf-1收到报文后，根据目的IP查路由表，发现存在两条等价下一跳（Spine-1和Spine-2），对五元组（含源UDP端口）做哈希，选择Spine-1转发。
3. Spine-1将报文转发至Leaf-2，Leaf-2最终送达服务器B。
4. 若Spine-1的出口队列发生拥塞，队列深度超过200KB，则Spine-1将报文IP头ECN字段标记为CE。
5. 服务器B收到CE标记后，生成CNP报文发回服务器A，服务器A收到CNP后执行DCQCN降速。

该案例中，如果仅使用RoCEv1，则服务器A和B必须处于同一二层VLAN，无法跨Leaf通信，也就无法利用Spine-Leaf架构的冗余和扩展能力。RoCEv2的UDP封装是支撑大规模组网的关键设计。