1. 课程导入
1.1 学习目标与课程定位
多路RoCE（RDMA over Converged Ethernet，融合以太网上的远程直接内存访问）性能调优，是数据中心网络工程师、存储管理员和高性能计算集群运维人员必须掌握的核心技能。本课程不局限于单条链路的基础配置，而是聚焦于多路RoCE（多网卡、多端口、多路径）场景下，如何通过系统化调优参数，使端到端吞吐量、时延和CPU占用率达到最佳平衡。
完成本章及后续课程后，您将能够：
- 理解RoCEv2的报文封装与转发路径，明确多路场景下性能瓶颈可能出现的协议层位置。
- 掌握Linux内核、网卡驱动、交换机QoS（服务质量）三层协同调优方法，而非孤立地修改单一参数。
- 针对多网卡绑定（bonding）、多队列（RSS/ARFS）和RoCE流表分发，制定合理的哈希策略与中断亲和性方案。
- 通过RDMA CM（连接管理器）消息、perftest工具和计数器，建立可量化的性能基线，并定位PFC（优先级流控）死锁或ECN（显式拥塞通知）标记异常。
- 规避常见的“伪调优”陷阱，例如盲目增大队列长度导致时延劣化，或仅调网卡侧而忽略交换机侧的缓存分配。
1.2 RoCE技术背景：从单路到多路的演进
RoCEv2将RDMA数据报文封装在UDP/IPv4或IPv6中，使得无损以太网能够承载高吞吐、低时延的远程内存访问。其核心优势在于内核旁路（Kernel Bypass）和硬件卸载，但这也意味着传统TCP/IP的拥塞控制机制不再适用，必须依赖网络基础设施提供无损传输保障。
在多路RoCE场景中，我们通常面临两种架构：
- 多网卡多路径（Multi-NIC Multi-Path）：服务器安装2~4张RoCE网卡，分别连接不同的TOR（Top of Rack，架顶）交换机，形成独立的多平面网络。此架构下，流量如何分发到不同网卡，以及如何避免单网卡故障导致会话中断，是调优重点。
- 单网卡多端口（Single-NIC Multi-Port）：一张双端口或四端口网卡，所有端口共享PCIe带宽。此时，PCIe链路速率、NUMA（非统一内存访问）亲和性以及端口间公平性成为关键约束。
无论哪种架构，多路调优的核心矛盾在于：既要充分利用所有可用路径的带宽，又要保证每个RoCE连接的报文顺序不被破坏（特别是对于RC（可靠连接）服务类型）。因此，哈希分发策略必须基于流（Flow）而非基于报文（Packet）。
1.3 性能调优的重要性：为什么默认配置不够用？
RoCE网卡出厂默认配置通常只保证“可用”，而非“最优”。在多路场景下，默认配置往往导致以下典型问题：
| 问题现象 | 根因分析 | 调优方向 |
|---|---|---|
| 多网卡总吞吐量远低于各端口速率之和 | 哈希策略基于L2/L3，未包含UDP源端口，导致流量集中到单条路径 | 配置RoCE哈希扩展字段（如UDP源端口） |
| 时延抖动剧烈，伴随PFC暂停帧计数增长 | 交换机缓存不足或阈值设置不当，触发PFC反压 | 调整ECN标记阈值与PFC门限 |
| CPU占用率高，但吞吐量上不去 | 中断未绑定到正确的NUMA节点，或未使用忙轮询模式 | 设置中断亲和性，启用busy_poll |
| 多连接并发时，部分连接带宽为0 | RDMA CM在建立连接时未考虑路径多样性 | 使用多IP地址或GID（全局ID）轮转策略 |
以实际案例为例：某分布式存储集群使用双口RoCE网卡，默认配置下总带宽仅为理论值的55%。通过将哈希字段从“源/目的IP+目的端口”扩展为“源/目的IP+源/目的UDP端口”，并调整RSS（接收端缩放）队列数为CPU核数的2倍，总带宽提升至理论值的92%。这一案例说明，多路调优不是单一参数的修改，而是数据路径上每个决策点的协同优化。
1.4 课程大纲与调优方法论
本课程共30章，按“基础→进阶→实战→排障”四阶段组织。核心方法论遵循以下流程：
- 基线采集：使用
ib_write_bw、ib_read_lat等perftest工具，记录多路场景下的吞吐量、时延、PFC计数。 - 瓶颈定位：通过
ethtool -S查看网卡丢包计数，通过mlxlink检查链路误码率，区分是物理层、链路层还是协议层问题。 - 参数调整：按“网卡队列→中断绑定→拥塞控制→交换机QoS”的顺序逐层优化，每步调整后重新测量。
- 验证与固化：使用
rdma link和sysctl持久化配置，并编写自动化脚本进行回归测试。
1.5 常见误区与复盘
在开始详细调优前，先澄清几个常见误区，避免后续章节中走弯路：
- 误区一：认为“无损网络”就是零丢包。实际上，RoCE依赖PFC和ECN实现“逻辑无损”，但PFC本身可能引发死锁。调优的目标是让ECN在拥塞初期介入，而非完全依赖PFC。
- 误区二：盲目增大队列长度。虽然更大的队列可以吸收突发流量，但也会增加排队时延。对于时延敏感型应用，应优先调整ECN阈值而非队列深度。
- 误区三：只调服务器，不调交换机。多路RoCE的性能上限由端到端路径中最弱的一环决定。如果交换机侧的缓存池划分不均，即使服务器参数最优，仍会出现PFC反压。
- 误区四：忽略PCIe带宽限制。一张双口100Gbps网卡，若插在PCIe 3.0 x8插槽上（理论带宽约64Gbps），则实际吞吐量不可能达到200Gbps。调优前必须确认PCIe链路宽度和版本。
复盘一个真实案例：某团队将RoCE网卡中断绑定到CPU0~CPU3，但未检查NUMA拓扑。由于网卡位于NUMA节点1，而CPU0~CPU3属于NUMA节点0，导致跨节点内存访问，时延增加30%。修正方法是将中断绑定到网卡所在NUMA节点的CPU核上，并配合mlx5_ib驱动的numa_aware参数，最终时延恢复至正常水平。