4. RoCEv2细节：IP封装、UDP端口、路由与流控机制

4.1 从InfiniBand到RoCEv2：网络层语义的转变

RoCEv1将InfiniBand的报文直接封装在以太网链路层中，依赖以太网类型字段0x8915进行标识，因此只能在同一个二层广播域内通信，无法跨越IP子网。RoCEv2则引入了标准的IP和UDP封装，将IB全局路由头（IB GRH）替换为IPv4或IPv6头，并将IB BTH（基础传输头）之后的报文作为UDP载荷传输。这一改变使RoCEv2能够借助传统IP网络的路由能力，实现跨数据中心、跨三层网络的部署，但也带来了新的问题：IP层的ECMP哈希、拥塞信号反馈、以及UDP端口分配策略，都会直接影响RDMA传输的性能与稳定性。

4.2 UDP端口与ECMP哈希：多路径负载均衡的关键

RoCEv2使用UDP封装后，一个直接的好处是能够利用IP网络的ECMP（等价多路径）机制进行负载均衡。传统交换机的ECMP哈希通常基于五元组（源IP、目的IP、源端口、目的端口、协议）。由于RoCEv2的目的端口固定为4791，若所有流都使用相同的源端口，则所有流量会被哈希到同一条物理链路上，造成严重的不均衡。

因此，RDMA网卡驱动在创建QP（队列对）时，会为每个流生成一个随机的UDP源端口号。这个源端口通常通过对QP编号、目的QP号、LID等参数进行哈希计算得到，确保不同流之间源端口尽量分散。这样，交换机就能基于不同的源端口将流量均匀分布到多条等价链路上。

4.3 流控机制：从链路层PFC到端到端拥塞控制

RoCEv2是无损网络的重要应用场景，其流控体系分为两层：

• 链路层流控（PFC，Priority Flow Control）：基于IEEE 802.1Qbb，在以太网链路上按优先级暂停帧。当接收端缓冲区超过阈值时，发送PFC暂停帧通知对端停止发送该优先级流量。PFC是逐跳机制，防止缓冲区溢出导致丢包。
• 端到端拥塞控制（ECN + DCQCN）：交换机通过WRED（加权随机早期检测）对队列深度进行监控，当队列超过阈值时，在IP头中标记CE（Congestion Experienced）位。接收端收到CE标记后，通过CNP（Congestion Notification Packet）报文反馈给发送端，发送端据此降低发送速率（通过调整QP的速率），实现端到端的拥塞控制。

机制	作用层级	触发条件	响应方式	典型时延
PFC	链路层（逐跳）	接收缓冲区超过阈值	暂停帧（XOFF/XON）	微秒级
ECN标记	网络层（交换机）	队列深度超过ECN阈值	IP头CE位标记	纳秒级（标记）
DCQCN	端到端（发送端）	收到CNP反馈	降低发送速率，恢复探测	微秒~毫秒级

4.4 路由与VLAN：RoCEv2跨网络部署的必备条件

RoCEv2虽然支持IP路由，但实际部署中必须满足以下条件才能保证RDMA性能不衰减：

1. 无损网络保障：IP路由路径上的所有交换机端口必须启用PFC，且PFC优先级与RoCEv2流量优先级一致（通常为优先级3或4）。若中间路径存在非无损端口，一旦发生拥塞丢包，RDMA性能将急剧下降。
2. ECN必须端到端生效：所有交换机需启用ECN标记，且接收端网卡支持ECN回显（生成CNP）。如果某一跳交换机不支持ECN，拥塞信号将中断，DCQCN无法正常工作。
3. VLAN与优先级映射：RoCEv2流量通常打上特定VLAN，并将802.1p优先级映射到PFC优先级。跨三层路由时，VLAN信息会被剥离，但IP头的DSCP字段可用于跨三层传递优先级信息。因此，需配置DSCP到PFC优先级的映射。

4.5 案例复盘：某数据中心RoCEv2跨Spine交换机部署

场景：某互联网公司数据中心采用Spine-Leaf架构，Leaf交换机下挂100G RoCEv2服务器，Spine层互联。初期部署时，所有服务器均在同一Leaf下，性能正常。后续业务扩展，需要跨Spine通信（即不同Leaf下的服务器互访）。

问题现象：跨Spine的RoCEv2流量吞吐量仅为线速的30%，且伴随大量重传。

排查过程：

• 检查Leaf与Spine之间的链路，确认PFC已配置，但发现Spine交换机上PFC优先级与Leaf不一致（Leaf使用优先级3，Spine默认优先级0）。
• 检查ECN配置，发现Spine交换机未启用WRED/ECN标记，导致拥塞时无CE标记。
• 检查ECMP哈希，确认Spine交换机哈希算法仅基于源/目的IP，未包含UDP源端口，导致所有跨Spine流量哈希到同一条上行链路。

解决方案：

1. 统一所有交换机PFC优先级为3，并确保DSCP 26（CS1）映射到优先级3。
2. 在Spine交换机上启用ECN，设置合理的WRED阈值（如最小阈值200KB，最大阈值2MB）。
3. 将Spine交换机哈希算法修改为“增强型哈希”（包含UDP源端口），并确认负载均衡均匀。

优化结果：跨Spine流量吞吐量恢复至线速的95%以上，重传率降至0.01%以下。

4.6 关键参数配置参考

以下为Mellanox（NVIDIA）网卡和Cisco Nexus交换机上的典型RoCEv2配置片段：

# 网卡侧（Mellanox）
mlxconfig -d /dev/mst/mt4119_pciconf0 set ROCE_CC_ALGORITHM=DCQCN
mlxconfig -d /dev/mst/mt4119_pciconf0 set ROCE_CC_PRIO_MASK=0x08  # 优先级3
mlxconfig -d /dev/mst/mt4119_pciconf0 set ROCE_CC_ECN_EN=1

# 交换机侧（Cisco Nexus 9000）
interface ethernet 1/1
  priority-flow-control mode on
  priority-flow-control priority 3
  qos group 1
  random-detect ecn
  random-detect minimum-threshold 200000 bytes
  random-detect maximum-threshold 2000000 bytes