3. 多路RoCE架构：多网卡、多队列、多路径的拓扑设计与负载均衡策略
3.1 核心原理：从单链路到多路并行
RoCE（RDMA over Converged Ethernet）的性能调优，本质上是在回答一个问题：如何让多张网卡、多个CPU核心、多条物理路径协同工作，而不是让流量挤在单一瓶颈上。单张100Gbps RoCE网卡的理论吞吐虽然可观，但实际应用中，单流（single stream）往往受限于PCIe通道带宽、CPU中断处理能力、内存带宽以及交换机哈希算法的局限性，很难跑满线速。多路RoCE架构的核心思想，是将一个大的数据流拆分为多个子流，分散到不同的网卡、队列和物理链路上，再在接收端聚合，从而突破单点资源上限。
理解多路架构，需要先厘清三个层面的“多路”含义：
- 多网卡（Multi-NIC）：服务器上安装2张或更多RoCE网卡（如Mellanox ConnectX-5/6/7），分别连接到不同的TOR交换机或同一交换机的不同端口，形成物理路径冗余与带宽叠加。
- 多队列（Multi-Queue）：每张网卡内部拥有多个QP（Queue Pair，队列对），每个QP可绑定到不同的CPU核心。通过中断亲和性（IRQ affinity）设置，让不同核心处理不同队列，避免单核成为瓶颈。
- 多路径（Multi-Path）：在IP层或RDMA层，通过ECMP（等价多路径）或RoCE多路径协议，让不同流（甚至同一流的不同报文）经过不同物理链路到达目的地，充分利用交换机上行带宽。
关键认知：多路RoCE不是简单“插多张卡”就完事，而是需要从物理拓扑 → 网卡配置 → 队列映射 → 路径选择四个层次协同设计。任何一个层次出现单点，整体性能都会被拉低。
3.2 方法流程：五步完成多路拓扑设计
在实际部署中，建议按照以下流程逐步推进，每一步都有明确的验证手段：
- 物理拓扑规划：确定服务器网卡数量与交换机连接方式。推荐采用双网卡分别连接两台TOR交换机的架构，避免单交换机故障导致业务中断。若追求更高带宽，可将每张网卡拆分为多个端口（如100G拆分为2×50G），但需注意PCIe带宽上限。
- 网卡与驱动配置：使用
mlxconfig工具开启多端口模式，并设置合适的MTU（建议9000字节，即Jumbo Frame）。同时确认RoCE模式为RoCEv2（UDP封装），以便利用IP层路由和ECMP。 - 队列与CPU亲和性绑定：通过
ethtool -L设置网卡队列数，再使用set_irq_affinity.sh脚本将各队列的中断绑定到不同CPU核心。关键命令示例如下：
# 查看当前队列与中断映射
ethtool -l eth0
# 设置网卡队列数为4（与CPU核心数匹配）
ethtool -L eth0 combined 4
# 查看中断号
cat /proc/interrupts | grep eth0
# 将中断绑定到CPU 0-3（以实际中断号为例）
echo 1 > /proc/irq/128/smp_affinity
echo 2 > /proc/irq/129/smp_affinity
echo 4 > /proc/irq/130/smp_affinity
echo 8 > /proc/irq/131/smp_affinity- IP地址与路由规划：为每张网卡配置独立IP子网，并在路由表中添加等价路由（ECMP）。Linux下可使用
ip route add添加多条相同metric的路由，实现内核级负载均衡。 - 验证与调优：使用
ib_write_bw或perftest工具进行多流测试，观察各网卡吞吐是否均衡。若出现某张网卡流量明显偏高，需检查哈希算法是否导致流量倾斜。
实操建议：在配置队列绑定前，先执行 lscpu 确认NUMA拓扑。尽量让网卡及其绑定的CPU核心处于同一NUMA节点，避免跨NUMA访问带来的额外延迟（通常会增加2-5μs）。
3.3 案例/场景：双网卡RoCE集群的负载均衡实战
某分布式存储集群需要提供200Gbps的聚合RDMA带宽，每台服务器安装2张ConnectX-6 Dx 100G网卡，连接至两台TOR交换机。初始配置时，工程师仅启用了默认单队列模式，结果实测聚合带宽仅达到约110Gbps，CPU核心0的中断占用率高达90%，而其他核心几乎空闲。
通过以下调整解决了瓶颈：
| 配置项 | 初始值 | 优化值 | 效果说明 |
|---|---|---|---|
| 队列数 | 1 | 8（每网卡） | 分散中断到8个核心 |
| IRQ亲和性 | 全部落在Core 0 | Core 0-7 一一对应 | 消除单核瓶颈 |
| IP路由 | 单路由 | 双路由ECMP | 流量分散到两台TOR |
| MTU | 1500 | 9000 | 减少报文数，降低CPU开销 |
优化后，使用 ib_write_bw -d mlx5_0 -d mlx5_1 --report_gbits 进行双端口并发测试，聚合带宽达到196Gbps，CPU各核心利用率均衡在60%-70%左右。关键经验是：队列数必须等于或略大于CPU物理核心数，且每个队列的中断要绑定到不同核心，避免多个队列争抢同一核心。
3.4 误区/复盘：多路RoCE部署中的常见陷阱
误区一：认为多网卡=多带宽，忽略PCIe瓶颈。 两张100G网卡同时全速运行需要约50GB/s的PCIe带宽（双向），若服务器仅有PCIe Gen3 x16（约32GB/s），实际吞吐会被限制在约180Gbps。务必检查 lspci -vvv 确认网卡所在PCIe插槽的速率和通道数。
误区二：ECMP哈希不均导致“大象流”倾斜。 交换机默认的哈希算法通常基于IP+端口，但当某个大流（如RoCE存储同步流）的源目IP和端口固定时，所有报文会走同一条路径，造成链路拥塞而其他链路空闲。解决方案包括：
- 在应用层使用多个QP（不同源端口）拆分大流；
- 在交换机上启用增强型哈希（如包含报文长度、L4端口范围）；
- 使用RoCE自适应路由（如InfiniBand的AR），但需硬件支持。
误区三：忽略PFC（优先级流控）的全局影响。 多路径环境下，若某条链路发生拥塞，PFC暂停帧会反向传播至发送端，导致所有路径上的流量都被降速。这是因为PFC是按优先级（如RoCE通常使用优先级3）进行流控，而非按端口。复盘建议：为不同路径配置独立的PFC优先级，或使用ECN（显式拥塞通知）配合DCQCN算法，避免全局头阻塞。
误区四：队列绑定后未验证实际中断分布。 有时虽然设置了 smp_affinity，但驱动或BIOS设置可能导致中断仍集中在某个核心。务必使用 mpstat -P ALL 1 观察各核心软中断（softirq）占比，确认负载真正分散。
最后，多路RoCE的调优是一个持续迭代的过程。每次修改硬件、驱动或网络拓扑后，都应重新执行带宽测试和中断分布检查，确保所有路径和队列都处于健康状态。只有将网卡、队列、路径三个维度都打通，才能真正释放RoCE的多路并行潜力。