2. RoCE基础

2.1 RDMA技术概述：从“拷贝”到“直达”的变革

传统TCP/IP网络通信中，数据从一台主机到达另一台主机，需要经过操作系统内核的多次数据拷贝。发送方应用数据先拷贝到内核Socket缓冲区，再由网卡驱动封装为报文；接收方则需将报文从内核缓冲区拷贝到用户态应用缓冲区。这个过程不仅消耗大量CPU资源，还引入了数十微秒级的延迟，成为高性能计算和分布式存储场景的瓶颈。

RDMA（Remote Direct Memory Access，远程直接内存访问）的核心思想是：允许应用程序直接读写远端主机内存，而无需双方操作系统内核参与数据路径。RDMA网卡（HCA，Host Channel Adapter）内置DMA引擎和专用协议处理逻辑，应用通过注册内存区域（Memory Registration）并下发工作请求（Work Request），硬件即可完成数据的封装、传输、校验和直接写入对端应用缓冲区。

RDMA的关键技术特征包括：内核旁路（Kernel Bypass）——应用与HCA之间通过用户态驱动直接交互；零拷贝（Zero-Copy）——数据在网卡与用户缓冲区之间直接DMA传输；CPU卸载——传输层处理、重传、确认等由网卡硬件完成。这些特性使得单路RDMA延迟可低至1~2微秒，远优于传统TCP/IP的10~50微秒。

2.2 RoCE协议版本：v1与v2的关键差异

RoCE协议在以太网上承载InfiniBand的报文格式，但不同版本在网络层封装上存在本质区别，这直接决定了其可路由性和部署场景。

RoCE v1：链路层承载

RoCE v1将IB全局路由头（IB GRH）直接封装在以太网MAC层之上，使用以太网类型字段0x8915标识。由于没有IP层，RoCE v1只能在同一二层广播域内通信，无法跨VLAN或子网路由。这意味着整个RoCE v1网络必须构建在单一无损以太网交换机域内，扩展性受限。

RoCE v2：IP/UDP承载

RoCE v2将IB报文封装在UDP/IPv4或IPv6之上，使用UDP目的端口4791作为RoCE流量的标识。这一设计使RoCE v2具备标准IP路由能力，可以跨越三层网络部署，同时利用ECMP（等价多路径）实现负载均衡。RoCE v2的报文结构为：以太网头 → IP头 → UDP头（端口4791）→ IB BTH+载荷。

对比维度	RoCE v1	RoCE v2
网络层封装	以太网MAC层直接承载（无IP）	UDP/IPv4或IPv6承载
以太网类型/UDP端口	0x8915	UDP 4791
可路由性	仅二层，不可跨子网	三层可路由，支持跨数据中心
负载均衡	依赖L2哈希，能力有限	支持ECMP基于IP+UDP五元组
部署规模	单广播域，适合小型集群	大规模组网，跨机柜/跨楼宇
无损网络要求	需要PFC/ETS支持	需要PFC/ETS支持（同v1）

2.3 RoCE与InfiniBand对比：技术路线与选型考量

InfiniBand是RDMA技术的“原生”网络，而RoCE是在以太网上的“移植”方案。两者在协议机制、网络生态、运维模式上各有优劣。

协议机制差异

• 链路层流控：InfiniBand采用基于信用的流控（Credit-based Flow Control），每个接收端口维护信用计数器，从机制上保证不丢包；RoCE依赖以太网PFC（优先级流控）实现无损，但PFC是逐跳机制，可能引发队头阻塞和死锁。
• 拥塞控制：InfiniBand内置自适应路由和拥塞控制（如CC）；RoCE v2需额外部署DCQCN、TIMELY或Swift等拥塞控制算法，依赖ECN标记和CNP（拥塞通知报文）反馈。
• 报文头开销：RoCE v2相比InfiniBand增加了IP+UDP头（28字节），有效载荷效率略低，但差距不大。

生态与成本

InfiniBand需要专用交换机、专用线缆和专用网卡，生态封闭但性能经过深度调优，常见于HPC（高性能计算）TOP500超算中心。RoCE则复用现有以太网交换机（需支持PFC/ECN），网卡与主流服务器兼容性好，成本显著更低，正逐步成为AI训练集群（如GPU集群）和分布式存储的首选。

选型决策清单

1. 已有以太网基础设施且希望复用 → 选择RoCE v2，逐步升级支持无损特性的交换机。
2. 新建超大规模HPC集群，追求极致性能 → 选择InfiniBand，其开箱即用的无损特性和自研拥塞控制更省心。
3. AI训练集群（GPU Direct RDMA） → 两者均可，但RoCE v2 + 高性能以太网交换机在性价比上更优。
4. 跨数据中心长距离传输 → RoCE v2可路由，但需考虑拥塞控制算法在WAN场景的适应性；InfiniBand则基本不适用于跨DC场景。