3. 多路径技术概述：ECMP、链路聚合、多路径路由的基本原理与局限

在RoCE（RDMA over Converged Ethernet）网络中，单一物理链路往往无法满足高带宽、低时延的传输需求。当多个流或单个大流需要跨越交换网络时，如何利用拓扑中存在的多条等价路径，是提升整体吞吐的关键。本章聚焦三种最常见的多路径技术——ECMP（等价多路径路由）、链路聚合（Link Aggregation）以及多路径路由（Multipath Routing），剖析其工作机制与在RoCE场景下的天然局限。

3.1 核心原理：三种多路径技术的工作机制

三种技术虽然都旨在“利用多条路径”，但其作用层次、决策粒度与转发依据截然不同。理解差异是后续调优的前提。

• ECMP（等价多路径）：工作在网络层（L3），基于五元组哈希（源IP、目的IP、源端口、目的端口、协议）将不同流映射到不同的下一跳路径。哈希结果决定报文从哪条等价链路发出。ECMP要求所有参与路径的“开销”相同，否则不参与负载分担。
• 链路聚合（LACP/静态聚合）：工作在链路层（L2），将多条物理链路捆绑为一个逻辑接口。转发时同样基于哈希（通常为MAC地址、IP地址或L4端口），但哈希域相对有限，且所有成员链路必须属于同一台交换机、同一个逻辑接口。
• 多路径路由（显式路径/策略路由）：通过路由协议（如BGP的Add-Path、OSPF的等价扩展）或SDN控制器下发多条显式路径，允许流量按照自定义策略（如基于流大小、时延要求）分配到不同路径上，不局限于哈希。

3.2 方法流程：ECMP与链路聚合的转发决策过程

以RoCEv2网络中最常见的ECMP为例，其转发流程可归纳为以下步骤：

1. 报文到达：交换机收到RoCEv2数据报文，提取外层IP头与UDP头（RoCEv2使用UDP封装，目的端口为4791）。
2. 哈希计算：对五元组（源IP、目的IP、源UDP端口、目的UDP端口、协议号）执行哈希算法（如CRC16或更复杂的哈希），得到一个固定长度的哈希值。
3. 路径映射：将哈希值对等价路径数量取模（或使用更均匀的哈希桶映射），得到出接口索引。
4. 转发：报文从选定的物理接口发出。同一流（相同五元组）的哈希结果一致，因此保证同一条流的报文不会乱序。

链路聚合的流程类似，但哈希键通常不包含L4端口（部分芯片支持），且参与聚合的链路必须物理上连接到同一邻居设备。其决策过程如下：

# 链路聚合哈希键示例 (交换机配置)
port-group 1
  mode lacp
  hash-mode src-dst-ip   # 仅基于IP地址哈希，不含端口
  member-port 1/0/1
  member-port 1/0/2
  member-port 1/0/3

3.3 案例/场景：哈希冲突导致RoCE吞吐骤降

某数据中心部署了RoCEv2存储网络，采用Spine-Leaf架构，Leaf交换机上行通过ECMP捆绑4条100G链路。运行过程中发现，当多个存储节点同时进行备份时，整体吞吐仅达到预期的一半，且部分链路利用率超过90%，而其他链路闲置。

排查过程：

• 检查各上行口流量，发现链路1利用率95%，链路2为10%，链路3为8%，链路4为12%。
• 抓取流表，确认存在多个大流（如每秒数GB的备份流）被哈希到同一链路。
• 分析哈希键：由于存储流量源/目的IP固定（存储网关），且部分旧交换机未启用UDP端口哈希，导致所有QP的哈希结果相同。

根因：ECMP的哈希粒度无法区分同一对IP下的不同QP流。RoCEv2中，每个QP对应一个独立的UDP源端口，但若哈希算法忽略该字段，则所有QP被视为“同一条流”，只能走同一条路径。

3.4 误区/复盘：多路径技术的常见认知偏差