4、RoCEv2协议栈解析：以太网头、IP头、UDP头、IB BTH及RETH等关键字段的详细说明
RoCEv2（RDMA over Converged Ethernet version 2）的核心价值在于将InfiniBand（IB）的语义承载于标准以太网/IP/UDP报文之上，从而在不改变物理网络基础设施的前提下，获得低延迟、高吞吐、低CPU占用的RDMA能力。理解RoCEv2的协议栈，是进行网络设计、性能调优和故障定位的基础。本章将逐层拆解RoCEv2报文从以太网头到IB传输层头的每一个关键字段，并说明其在实际数据中心网络中的工程意义。
上图展示了RoCEv2报文从L2到L5的完整封装结构。与RoCEv1（直接在以太网上承载IB）不同，RoCEv2引入了IP和UDP层，这使得报文可以被标准三层网络路由，并利用ECMP（等价多路径）进行负载均衡。然而，这也带来了新的挑战：UDP封装增加了8字节开销，且IP层的TTL和UDP校验和需要正确配置，否则可能导致报文被中间设备丢弃。下面我们逐层深入解析。
4.1 以太网头与VLAN：无损网络的第一道关口
核心原理：以太网头是RoCEv2报文在物理链路上传输的起点。除了目的MAC（DMAC）和源MAC（SMAC）外，最关键的是EtherType字段。对于RoCEv2，EtherType通常为0x0800（IPv4）或0x86DD（IPv6），而不是RoCEv1的0x8915。这意味着网络设备必须能够识别并优先处理这些IP报文。在数据中心无损网络环境中，VLAN标签（802.1Q）扮演着至关重要的角色——它不仅用于隔离广播域，其PCP（Priority Code Point）字段（3bit）直接映射到交换机队列的优先级，决定报文进入哪个PFC（优先级流控）队列。
判断方法与操作流程：在配置RoCEv2网络时，需确保交换机端口和服务器网卡的VLAN配置一致。通常建议为RoCEv2流量划分专用VLAN，并设置PCP值为3或5（对应高优先级队列）。操作流程如下：
- 在交换机上创建RoCE专用VLAN（如VLAN 100），并启用PFC（如priority 3）。
- 在服务器网卡驱动中，将RoCEv2流量的VLAN ID和优先级绑定到同一PCP值。
- 验证：使用
tcpdump -i eth0 -e -v 'udp port 4791'抓包，确认VLAN标签和PCP位正确。
ethtool -l eth0 检查网卡队列，并确认交换机端口 show priority-flow-control 状态为开启。
4.2 IP头与DSCP：路由与拥塞信号的载体
核心原理：IP头使RoCEv2报文可跨三层路由，但更重要的是DSCP（Differentiated Services Code Point）字段。RoCEv2依赖DSCP值来标记报文的优先级，交换机据此执行ECN（显式拥塞通知）标记或Wred（加权随机早期检测）丢弃策略。在无损网络中，DSCP值通常与PCP值一一对应，例如DSCP 26（CS1）映射到PCP 3。此外，IP头的Total Length字段必须正确反映UDP及后续IB头的总长度，否则接收端校验失败。
案例拆解：某金融数据中心部署RoCEv2存储网络，业务反馈时延抖动严重。通过抓包分析发现，部分报文的DSCP值为0（Best Effort），而交换机为DSCP 0配置了Wred丢弃阈值。进一步排查发现，服务器端RoCE驱动未正确配置DSCP映射，导致所有报文以默认优先级发送。修复步骤：
- 在服务器上执行
rdma link set rxe0 pkey 0xffff确认P_Key正常。 - 使用
echo 26 > /sys/class/infiniband/rxe0/tc/0/tc_dscp将DSCP 26映射到优先级队列0。 - 在交换机上配置
mlnx-qos -i eth0 --pfc=3,0,0,0,0,0,0,0启用PFC。
调整后，时延抖动从平均200μs降至50μs，P99时延改善明显。
4.3 UDP头与端口4791：多路径与解复用
核心原理：UDP头是RoCEv2区别于RoCEv1的关键。目的端口固定为4791（IANA官方分配），用于标识RoCEv2流量。源端口则由发送端QP（Queue Pair）号或流标识符动态生成，交换机利用源端口+目的IP+目的端口进行哈希计算，实现ECMP负载均衡。UDP Length字段必须等于IP Total Length减去IP头长度，否则接收端可能丢弃报文。UDP Checksum在RoCEv2中是可选的，但强烈建议启用——虽然增加少量CPU开销，但能有效防止数据静默损坏。
操作流程与验证：在Linux服务器上，可通过以下命令查看RoCEv2使用的UDP端口：
# 查看当前RoCE端口配置
rdma link show rxe0
# 确认UDP封装端口（默认4791）
cat /sys/class/infiniband/rxe0/ports/1/udp_port若需修改源端口范围以优化ECMP，可在网卡驱动中设置 options mlx5_core udp_port=4791，但需确保所有节点一致。
| 字段 | 长度 | 典型值/范围 | 工程意义 |
|---|---|---|---|
| Src Port | 16bit | 0-65535 | ECMP哈希输入，建议随机化 |
| Dst Port | 16bit | 4791 | 固定标识RoCEv2 |
| Length | 16bit | UDP头+IB头+Payload | 校验完整性 |
| Checksum | 16bit | 0或计算值 | 建议启用，防止数据损坏 |
4.4 IB BTH与RETH：RDMA语义的核心
核心原理：BTH（Base Transport Header）是IB传输层的起点，包含OpCode（操作码，如RDMA Write、RDMA Read、Send等）、P_Key（分区键，用于隔离）、Dest QP（目的队列对号）和PSN（包序列号，用于可靠传输的排序与重传）。RETH（RDMA Extended Transport Header）仅出现在RDMA Write和Read请求中，包含远端虚拟地址、R_Key（内存保护键）和DMA长度。R_Key是安全关键——接收端通过R_Key验证发送端是否有权限访问指定内存区域，防止恶意或错误的内存访问。
实战场景与排障：在一次RoCEv2集群性能测试中，发现RDMA Write吞吐量仅为理论值的60%。通过硬件计数器定位，发现大量BTH重传（PSN重复）。分析抓包文件：
# 抓取RoCEv2报文
tcpdump -i eth0 -s 0 -w roce.pcap 'udp port 4791'
# 使用wireshark过滤BTH重传
bth.psn 与 tcp.analysis.retransmission 类似，需手动对比PSN序列发现PSN出现乱序，原因是交换机ECMP哈希不均，导致同一QP的报文被分发到不同路径，产生乱序。解决方案：在网卡上启用 flow steering 或使用 mlx5_ib 的 create_flow 规则，将同一QP的报文固定到同一路径。调整后，吞吐量恢复至线速。
ibv_devinfo 确认设备能力，并在监控系统中加入PSN重传计数器和R_Key错误计数器。
理解RoCEv2协议栈的每一层，不仅是网络工程师的基本功，更是构建高性能、高可靠数据中心网络的基石。从以太网的VLAN优先级到UDP的ECMP哈希，再到IB层的PSN与R_Key，每个字段都承载着特定的工程语义。在实际运维中，建议结合硬件计数器（如 ethtool -S eth0 | grep roce）和抓包工具，建立常态化的协议健康检查机制，确保无损网络的长期稳定运行。