3. RoCE协议概述：RoCE v1/v2版本、协议栈结构、与InfiniBand的关系
3.1 从InfiniBand到RoCE：RDMA的网络化演进
RoCE（RDMA over Converged Ethernet，融合以太网上的远程直接内存访问）的本质，是将InfiniBand（IB）网络中成熟的RDMA技术移植到以太网基础设施上运行。理解RoCE，必须首先厘清它与InfiniBand的“血缘关系”。InfiniBand定义了完整的端到端协议栈，包括物理层、链路层、网络层（IB全局路由）和传输层，其网络中的每个节点都有独立的IB子网ID（LID）和全局ID（GID）。而RoCE并非全新发明，它复用了IB传输层（RC、UC、UD等）的报文格式与语义，仅将底层的链路层和物理层替换为以太网。
这种“换底不换上层”的设计，使得RoCE能够直接利用现有数据中心以太网交换机与网卡，大幅降低了RDMA的部署成本。但代价是：以太网本身是尽力而为（Best-Effort）的网络，缺乏IB网络固有的无损、流控与可靠链路机制。因此，RoCE对底层网络的丢包极其敏感，必须依赖无损以太网（PFC优先级流控）或增强型以太网特性来保证传输质量。
3.2 RoCE v1与RoCE v2的协议栈结构对比
RoCE v1与v2的差异，本质上是对“网络层”的不同处理方式。RoCE v1的报文结构为：以太网头（含VLAN标签）→ IB全局路由头（GRH）→ IB BTH（基础传输头）→ 数据载荷 → ICRC。它直接将以太网作为链路层，但网络层仍沿用IB的GRH，因此只能在以太网二层广播域内通信，无法穿越IP路由器。RoCE v1的以太网类型字段为0x8915，交换机需识别该类型并保证无丢包转发。
RoCE v2则彻底拥抱IP网络，其报文结构变为：以太网头 → IP头 → UDP头（目的端口4791）→ IB BTH → 数据载荷 → ICRC。UDP封装使得RoCE v2报文可以被标准IP路由器转发，实现了跨子网、跨数据中心的RDMA通信。但这也引入了新的问题：UDP端口仅用于标识RoCE流量，不提供可靠传输，拥塞控制完全依赖上层IB传输层与网络QoS策略。
| 对比维度 | RoCE v1 | RoCE v2 |
|---|---|---|
| 网络层 | IB GRH（全局路由头） | IP + UDP（端口4791） |
| 路由能力 | 仅二层（VLAN内） | 三层路由（跨子网） |
| 以太网类型 | 0x8915 | 0x0800（IPv4）/ 0x86DD（IPv6） |
| MTU要求 | 最大4096字节（需巨型帧） | 受限于IP MTU（通常1500或9000） |
| 适用场景 | 单机柜/单子网高性能计算 | 数据中心跨机架、跨集群组网 |
3.3 RoCE与InfiniBand的深层关系与选型逻辑
从协议栈角度看，RoCE与InfiniBand共享相同的上层传输语义（包括队列对QP、完成队列CQ、内存注册等机制），但底层承载完全不同。InfiniBand网络中的交换机、线缆、网卡（HCA）均为专用硬件，价格昂贵且与以太网生态隔离。RoCE则允许使用标准以太网交换机和网卡（需支持RoCE特性），但要求网络必须提供无损保障。
在实际组网中，两者并非互斥。许多数据中心采用混合架构：核心存储网络使用InfiniBand以保证极致性能，而前端计算集群间则通过RoCE v2共享以太网基础设施。选择RoCE而非IB的典型理由包括：
- 成本优势：以太网设备单价低，且可复用现有运维体系。
- 平滑演进：从传统TCP/IP业务向RDMA过渡时，RoCE允许同一网络承载两类流量。
- 生态兼容：主流网卡厂商（Mellanox/ NVIDIA、Intel、Broadcom）均提供RoCE驱动支持。
3.4 典型场景：RoCE v2跨机架部署的协议栈实例
以一个三机架GPU训练集群为例，展示RoCE v2的实际报文流转过程。服务器A（机架1）与服务器B（机架3）通过Spine-Leaf网络通信，每台服务器配置100Gbps RoCE网卡。
服务器A发送路径：
1. 应用调用RDMA写请求（ibv_post_send）
2. 网卡硬件将数据从内存直接读取，封装为RoCE v2报文：
[以太网头: MAC_A→MAC_Leaf1] [IP头: 10.0.1.1→10.0.3.1]
[UDP头: 源端口随机→目的端口4791] [BTH: 队列对号QP#5, 分组序号PSN]
[数据载荷: 4KB] [ICRC: 循环冗余校验]
3. Leaf1交换机识别DSCP值（如46），将报文映射到无损队列转发
4. Spine交换机根据目的IP路由到Leaf3
5. Leaf3转发至服务器B，网卡校验ICRC后直接DMA写入应用缓冲区此过程中，RoCE v2的UDP端口4791是网卡与交换机识别RoCE流量的关键标识。若网络设备配置了ECN（显式拥塞通知），交换机在队列拥塞时会在IP头标记CE位，RoCE网卡据此自动降低发送速率，实现端到端拥塞控制。
3.5 常见误区与排障复盘
实际上，RoCE v2依赖无损以太网，而标准以太网交换机默认采用丢包转发。若未正确配置PFC（优先级流控）和ECN，RoCE流量一旦遭遇拥塞，丢包将导致RDMA性能断崖式下降（吞吐可能从100Gbps跌至10Gbps以下）。
误区二：混淆RoCE v1与v2的报文识别方式。
抓包时，RoCE v1显示以太网类型0x8915，而RoCE v2显示为UDP报文。若防火墙或交换机ACL仅放行TCP而丢弃UDP，RoCE v2通信将直接失败。
误区三：忽略MTU一致性。
RoCE v1要求端到端MTU不低于4096字节，而RoCE v2在IP网络中若MTU小于报文长度，会被分片，严重破坏RDMA性能。实际部署中，应统一配置交换机与网卡的MTU为9000字节（巨型帧）。
排障复盘案例：某数据中心部署RoCE v2后，跨机架通信吞吐仅为线速的30%。排查过程如下：
- 使用
ibstat检查网卡状态，确认链路正常且无物理错误。 - 在服务器端抓包，发现大量TCP重传而非RoCE报文——定位为UDP 4791被交换机ACL策略丢弃。
- 调整ACL放行UDP 4791后，吞吐恢复至85%，但仍未达标。
- 进一步检查PFC配置，发现Leaf交换机上RoCE优先级（通常为3）未启用流控，导致拥塞丢包。
- 启用PFC并配置ECN阈值后，吞吐稳定在95Gbps以上。
该案例说明，RoCE组网不仅是网卡配置问题，更涉及交换机QoS策略、流控机制与路由设计的全局协同。任何一环缺失，都可能让RDMA性能优势荡然无存。