📚 课程目录第3章 RoCE网络组件

3. RoCE网络组件

核心原理：RoCE 依赖的硬件链路与角色分工

RoCE（RDMA over Converged Ethernet）本质上是在以太网上承载 RDMA 语义，因此它的性能上限由整条物理链路的“最低能力单元”决定。一个完整的 RoCE 数据通路包含四个关键硬件角色：网卡（NIC）负责报文封装与卸载，交换机负责无损转发与流控，线缆决定信号完整性与误码率，连接器则是最容易被忽视的接触可靠性节点。任何一个环节出现配置偏差或物理劣化，都会直接表现为 PFC 暂停帧激增、ECN 标记异常或丢包重传。

从协议栈视角看，RoCE v2 报文在 UDP/IP 之上承载 IB 传输层语义，网卡必须支持 RoCE 卸载引擎，交换机必须支持 PFC（802.1Qbb）、ECN（802.1Qau）和 DSCP 优先级映射。硬件角色之间通过优先级队列和流控机制形成闭环，这正是区别于普通 TCP 以太网的核心所在。

  关键认知：RoCE 不是“插上就能跑”的技术。它要求从网卡到交换机再到对端网卡的整条路径上，所有设备对 802.1p 优先级、PFC 门限、ECN 水线必须有一致的理解。任何一端配置漂移，都会导致“静默降速”——链路不中断，但吞吐从 100Gbps 掉到 20Gbps。

方法流程：各硬件角色的配置要点与检查路径

在部署 RoCE 网络时，建议按照“从网卡到交换机，再从交换机到对端”的顺序逐层配置，避免遗漏关键参数。以下是每个硬件角色的核心配置项：

1. 网卡（NIC）侧配置

开启 RoCE 卸载：确认网卡固件支持 RoCE v2，并启用硬件卸载引擎（如 Mellanox 的 mlx5_core 驱动中 ROCE=yes）。
优先级映射：将 RoCE 流量映射到 802.1p 优先级 3（或 4/5），并设置对应的 DSCP 值（通常为 26 或 46）。
PFC 使能：在网卡驱动中启用 PFC 支持，确保网卡能响应交换机的暂停帧。
MTU 一致性：建议全链路 MTU 统一为 9000（巨型帧），避免分片导致性能骤降。

# 以 Mellanox ConnectX-5 为例（mlxconfig 工具）
mlxconfig -d mlx5_0 set ROCE=1
mlxconfig -d mlx5_0 set PFC_EN=1
mlxconfig -d mlx5_0 set DSCP_PRIO=3
# 查看当前配置
mlxconfig -d mlx5_0 query | grep -E "ROCE|PFC|DSCP"

2. 交换机侧配置

全局开启无损模式：在交换机上为 RoCE 流量所在的优先级队列启用 PFC（如 priority-flow-control cos 3 on）。
ECN 水线配置：设置队列的 ECN 门限（如 wred ecn），确保拥塞时能标记而非丢包。
DCBX 协商：开启 LLDP 和 DCBX 协议，让交换机自动向服务器下发 PFC/ECN 参数。
缓冲区分配：为 RoCE 队列分配足够的动态缓冲区，避免因 buffer 不足触发 PFC 风暴。

# 以 Cisco Nexus 9000 为例
interface ethernet 1/1
  priority-flow-control mode on
  priority-flow-control cos 3
  qos group 3
  service-policy type qos input ROCE-IN
  service-policy type queuing output ROCE-OUT
!
class-map type qos match-any ROCE-TRAFFIC
  match dscp 26
policy-map type qos ROCE-IN
  class ROCE-TRAFFIC
    set qos-group 3
    set cos 3

3. 线缆与连接器检查

线缆类型选择：短距离（≤3m）优先 DAC 铜缆；中距离（≤30m）使用 AOC 有源光缆；长距离（>30m）必须使用光模块+光纤。
连接器清洁：QSFP28 或 SFP+ 连接器若被污染，会导致光功率衰减或误码率升高。
光功率检查：使用 ethtool -m 或交换机命令查看光模块的 TX/RX 功率，确保在阈值范围内。

案例/场景：某分布式存储集群的 RoCE 性能劣化排查

某生产环境使用 100Gbps RoCE v2 承载 Ceph 存储流量，近期出现写入延迟从 200μs 飙升至 2ms 的现象。初步检查服务器 CPU 和内存均正常，但交换机上观察到 PFC 暂停帧计数持续增长。

排查过程如下：

检查网卡统计：使用 ethtool -S eth0 | grep -i pfc 发现 rx_pause 帧数量异常，说明交换机在向服务器发送暂停帧。
检查交换机端口：登录交换机查看 show interface ethernet 1/1 priority-flow-control，发现该端口的 PFC 队列 3 触发了大量暂停。
检查线缆光功率：执行 ethtool -m eth0 查看光模块，发现 RX 功率为 -18dBm，接近接收灵敏度下限（-20dBm），且误码率（BER）达到 1e-6。
定位根因：更换线缆后，RX 功率恢复至 -8dBm，误码率降至 1e-12，PFC 暂停帧归零，延迟恢复正常。

经验提示：当 RoCE 性能劣化时，不要只盯着交换机或网卡配置。先检查物理层——光模块功率和误码率往往是最先暴露问题的环节。建议在监控系统中加入光模块功率阈值告警，提前发现劣化趋势。

误区/复盘：硬件配置中的常见陷阱

误区	后果	正确做法
只在交换机上启用 PFC，网卡未同步配置	网卡不响应暂停帧，导致丢包	网卡和交换机必须同时启用 PFC，且优先级一致
所有流量共用同一优先级队列	普通 TCP 流量触发 PFC，影响 RoCE 性能	将 RoCE 流量隔离到独立优先级，并配置流量整形
忽略连接器清洁和插拔次数	接触不良导致误码率升高，触发重传	定期检查连接器，使用专用清洁工具，记录插拔次数
MTU 不一致（服务器 1500，交换机 9000）	分片导致 CPU 开销增加，RDMA 性能下降	全链路统一 MTU 9000，并验证端到端连通性

复盘本次故障，最深刻的教训是：RoCE 网络是一个“木桶”，任何一块短板都会拖垮整体性能。硬件角色之间不是孤立的，网卡的卸载能力、交换机的缓冲策略、线缆的信号质量、连接器的接触可靠性，共同决定了最终能否实现低延迟、零丢包的无损传输。在后续运维中，建议建立硬件基线档案，记录每根线缆的功率、误码率和插拔次数，并定期与交换机 PFC 计数器交叉比对，形成主动预防机制。