4. RoCEv1与RoCEv2对比
RoCE（RDMA over Converged Ethernet）协议自诞生以来经历了两个主要版本的演进：RoCEv1与RoCEv2。两者虽然都旨在通过以太网承载RDMA（远程直接内存访问）语义，但在协议栈设计、网络层支持、路由能力以及适用场景上存在本质性差异。理解这些差异，是进行数据中心网络架构选型、故障排查以及性能调优的基础。本章将从协议封装格式入手，逐层剖析两者的技术边界，并结合实际工程案例，帮助读者建立清晰的版本认知框架。
上图直观展示了RoCEv1与RoCEv2在协议栈分层上的核心差异。RoCEv1将IB网络层（GRH，Global Routing Header）直接封装在以太网MAC层之上，而RoCEv2则引入了UDP/IP层作为承载。这一看似简单的变化，却彻底改变了RDMA在数据中心内的部署边界与运维模式。下面我们将从多个维度展开详细对比。
4.1 协议栈封装差异：从L2到L3的跨越
核心原理：RoCEv1的协议栈自下而上为：以太网MAC头（含VLAN Tag）、IB全局路由头（GRH）、IB BTH（基础传输头）及上层RDMA负载。其中GRH是IB网络层的核心，包含128位的全局ID（GID），用于在IB子网内标识端口。由于GRH本身不具备IP语义，RoCEv1报文无法被传统IP路由器识别和转发，只能在以太网二层域内通过MAC地址和VLAN进行交换。
RoCEv2的协议栈则变为：以太网MAC头、IP头（IPv4或IPv6）、UDP头（目的端口号固定为4791）、IB BTH及RDMA负载。UDP/IP层的引入，使得RoCEv2报文成为标准的IP报文，可以被三层交换机、路由器以及支持ECMP（等价多路径）的负载均衡设备识别和处理。
| 协议层 | RoCEv1 | RoCEv2 |
|---|---|---|
| L2 以太网头 | 标准MAC + 可选VLAN | 标准MAC + 可选VLAN |
| L3 网络头 | IB GRH（无IP） | IPv4 / IPv6 头 |
| L4 传输头 | 无（直接IB BTH） | UDP头（目的端口4791） |
| L4 之上 | IB BTH + 负载 | IB BTH + 负载 |
判断方法：在服务器上执行 tcpdump -i eth0 -nn -e 抓包，观察报文头部。若在以太网头之后直接出现IB GRH（通常以 0x6001 开头的字节序列），则为RoCEv1；若出现IP头且UDP目的端口为4791，则为RoCEv2。此外，网卡驱动中通常有 roce_version 参数可配置。
4.2 网络层支持与路由能力：广播域与三层边界
核心原理：RoCEv1由于没有IP层，其GID基于MAC地址和VLAN生成，因此报文无法跨越三层网关。这意味着所有RoCEv1节点必须处于同一个VLAN和IP子网内，且依赖交换机上的PFC（优先级流控）保证无损传输。一旦跨子网，报文将被路由器丢弃，因为路由器无法解析GRH。
RoCEv2通过UDP/IP封装，将RDMA报文伪装成普通UDP流量。IP头中的源/目的地址用于路由决策，UDP目的端口4791用于标识RDMA流量。这使得RoCEv2可以跨越三层网络，通过传统IP路由器或支持VXLAN等Overlay的网络转发。同时，ECMP可以根据IP五元组对RoCEv2流量进行负载均衡，充分利用多路径带宽。
操作流程（跨子网RoCEv2配置检查）：
- 确认两端服务器网卡驱动支持RoCEv2，并设置
roce_version=2。 - 检查IP连通性：
ping <对端IP>确保三层可达。 - 验证UDP端口4791未被ACL或防火墙阻断。
- 检查路径上所有交换机端口是否启用PFC（优先级3）和ECN（建议）。
- 使用
rdma link show查看链路状态，确认link_layer为Ethernet且roce_version正确。
4.3 适用场景与限制：性能与规模的权衡
核心原理：RoCEv1的优势在于极低的转发延迟和CPU开销。由于省去了IP/UDP封装，报文长度更短，网卡处理逻辑更简单，在单一二层域内（如TOR交换机下挂的数十台服务器）可以发挥极致性能。但其致命限制是无法跨子网，且对VLAN和PFC配置要求苛刻，扩展性差。
RoCEv2则牺牲了微小的封装开销（增加20字节IP头+8字节UDP头），换取了IP路由能力。这使得它能够支撑大规模数据中心Spine-Leaf架构，实现跨POD、跨机房的RDMA通信。同时，UDP封装也便于网络监控和流量调度。但代价是：需要处理IP分片（通常通过设置MTU避免）、依赖ECMP的哈希均匀性（可能导致流量倾斜），以及更复杂的QoS部署。
| 对比维度 | RoCEv1 | RoCEv2 |
|---|---|---|
| 最大网络规模 | 单二层域（< 1000节点） | 跨三层域（数万节点） |
| 典型时延（P99） | 0.5 - 1 μs | 0.7 - 1.5 μs |
| 部署复杂度 | 低（仅需VLAN/PFC） | 高（需IP规划/ECMP/QoS） |
| 故障域 | 广播域内 | 可跨故障域 |
| 适用场景 | 存储双活、GPU直连（小规模） | 大规模AI集群、分布式存储 |
案例拆解：某金融核心存储网络升级
背景与约束：某券商原有基于RoCEv1的存储网络，用于交易系统与集中式存储之间的数据读写。网络拓扑为单Spine双Leaf，所有服务器和存储均在同一VLAN内。随着业务增长，存储集群需要跨机房容灾，但RoCEv1无法跨三层，导致容灾链路只能使用TCP/IP，性能下降60%。
初始现象：跨机房复制任务耗时从原来的20分钟延长至50分钟，且CPU占用率飙升。经排查，确认是TCP协议栈处理开销过大所致。
分析判断：核心瓶颈在于RoCEv1的L2限制。若升级至RoCEv2，可利用现有Spine-Leaf三层网络，将存储复制流量通过UDP/IP路由至容灾机房，同时保留RDMA的低时延特性。
实际操作步骤：
- 将源端和目标端网卡驱动升级至支持RoCEv2的版本，并设置
roce_version=2。 - 在Spine交换机上配置PFC（优先级3）和ECN，确保跨机房路径无损。
- 调整MTU为9000字节，避免UDP分片。
- 配置ECMP哈希算法，基于IP和UDP端口进行负载均衡。
- 逐步迁移业务流量，先测试非核心业务，再切换核心交易复制链路。
结果对比：升级后，跨机房复制耗时恢复至22分钟，CPU占用率下降40%。同时，由于RoCEv2支持ECMP，两条100G链路的利用率从单条峰值80%降至双条各50%，带宽瓶颈消除。
风险与代价：升级过程中，需短暂中断复制链路（约5分钟）。此外，RoCEv2对网络丢包更敏感，需确保PFC配置无误，否则可能引发死锁。
复盘经验：RoCEv2的部署不是简单的网卡参数修改，而是涉及网络、存储、主机多团队的协同改造。建议先在测试环境模拟跨三层流量，验证QoS策略后再上生产。
4.4 常见误区与总结复盘
误区一：RoCEv2可以完全替代RoCEv1。实际上，在单一二层域且追求极致性能的场景下，RoCEv1仍有优势。RoCEv2的UDP/IP封装增加了报文长度，且ECMP哈希可能导致流量不均，在少数场景下性能反而不如RoCEv1。
误区二：只要IP能ping通，RoCEv2就能正常工作。IP连通只是基础。RoCEv2依赖无损网络，若路径上任何交换机未启用PFC，或缓冲区不足，微突发流量就会导致丢包，RDMA性能会断崖式下降。
误区三：忽略UDP端口4791的ACL配置。某些安全策略会默认丢弃非知名端口UDP流量，导致RoCEv2连接超时。务必在交换机ACL中放行该端口。
总结复盘：选择RoCE版本的核心依据是网络规模与路由需求。若你的数据中心是单一扁平二层架构，且无跨子网需求，RoCEv1是低延迟的最优解；若需要构建大规模、多租户、跨地域的RDMA网络，RoCEv2是唯一选择。无论选择哪种版本，都必须将无损网络配置（PFC/ECN）作为前提条件，并建立完善的监控体系（如通过 rdma statistic 观察丢包和重传计数）。