4. 高可用性设计原则：冗余设计、故障域隔离、负载均衡与故障转移策略

4.1 核心原理：高可用性的四大支柱

RoCE（RDMA over Converged Ethernet）网络的高可用性并非依赖单一设备或单条链路，而是通过一组相互配合的设计原则，在故障发生时将业务影响降到最低。这些原则可归纳为四个核心维度：冗余设计（Redundancy）、故障域隔离（Fault Domain Isolation）、负载均衡（Load Balancing）与故障转移（Failover）。四者并非孤立存在，而是形成“冗余提供资源、隔离限制爆炸半径、负载均衡分散风险、故障转移完成切换”的闭环。

冗余设计解决的是“有没有备用资源”的问题。在RoCE网络中，冗余不仅指设备（如双Spine交换机），更关键的是路径冗余——任意两个节点之间必须存在至少两条物理不相交的转发路径。故障域隔离解决的是“故障影响多大范围”的问题。通过将网络划分为独立的故障域（如Pod、Cell或Availability Zone），使某个区域的链路震荡或设备宕机不会波及其他区域。负载均衡解决的是“冗余资源如何被有效利用”的问题——如果备用路径长期闲置，不仅浪费带宽，而且在切换时可能因瞬时拥塞导致PFC（Priority Flow Control）死锁。故障转移解决的是“故障发生后如何快速恢复”的问题，涉及ECMP重哈希、BGP快速收敛、智能感知与主动切换等机制。

4.2 方法流程：从设计到验证的四步法

在实际组网设计中，建议按照以下流程逐步落实高可用性要求：

1. 第一步：业务分级与冗余基线确定。根据业务重要性（如存储同步、AI训练、高性能计算）确定可用性等级，进而决定冗余程度。例如，核心存储网络要求“无单点故障”，则Spine层必须至少2台，Leaf上行至少2条不同路径；而普通管理网络可适当降低标准。
2. 第二步：故障域规划与资源布局。将服务器、存储和交换机按故障域进行分组。每个故障域内包含独立的电源、制冷和网络设备。跨故障域之间通过冗余链路互联，确保单个故障域整体失效时，其他域仍可独立运行。
3. 第三步：负载均衡策略配置。在Leaf和Spine上启用ECMP（Equal-Cost Multipath），并选择合适的哈希因子。对于RoCE场景，推荐基于外层IP+内层L4端口的哈希，避免因哈希冲突导致流量集中到某条链路而触发PFC。
4. 第四步：故障转移验证与演练。通过人为制造故障（拔线、关端口、重启设备）验证切换时间与业务连续性。重点观察PFC暂停帧是否激增、RoCE吞吐是否下降、TCP/UDP流量是否受影响。

# Leaf交换机ECMP配置（以NVIDIA Cumulus Linux为例）
net add interface swp1-4
net add interface swp1-4 mstpctl-portbpduguard
net add interface swp1-4 mstpctl-portedge
net add bgp autonomous-system 65001
net add bgp neighbor fabric peer-group
net add bgp neighbor fabric remote-as external
net add bgp neighbor fabric capability extended-nexthop
net add bgp neighbor swp1 interface peer-group fabric
net add bgp neighbor swp2 interface peer-group fabric
net add bgp neighbor swp3 interface peer-group fabric
net add bgp neighbor swp4 interface peer-group fabric
net add bgp ipv4 unicast network 10.0.0.0/24
net add bgp ipv4 unicast network 10.0.1.0/24
net add bgp ipv4 unicast redistribute connected
net pending
net commit

4.3 案例/场景：双Spine+双Leaf典型组网

以一个典型的RoCE分布式存储集群为例，组网采用2台Spine + 4台Leaf的Clos架构，每台服务器配置2个25G RoCE网卡分别连接至不同Leaf。存储节点之间通过RoCE进行数据复制，计算节点通过RoCE访问存储。

在该场景中，当某台Leaf交换机发生故障时，受影响服务器上的RoCE流量会通过另一块网卡经由另一台Leaf继续转发。由于ECMP已预先配置，Spine会快速将去往故障Leaf的流量重哈希到其他Leaf，整个切换过程通常在毫秒级完成。存储集群的副本机制则保证在极端情况下（如整个Pod断电），数据仍可从其他Pod的副本恢复。

4.4 误区/复盘：常见设计缺陷与改进

误区二：负载均衡哈希不当导致PFC风暴。某AI训练集群曾出现RoCE流量吞吐骤降，排查发现Leaf交换机默认哈希仅基于源目IP，而训练流量集中在少数几个IP对之间，导致所有流量被哈希到同一条上行链路，造成该链路拥塞并触发PFC反压，进而波及整个网络。改进方案是启用包含L4端口的增强型哈希，并配合自适应路由（如NVIDIA Adaptive Routing）动态调整路径。

误区三：故障转移后忽视回切策略。某次故障演练中，主链路恢复后，由于未配置回切延迟和抖动抑制，ECMP立即将流量切回原路径，导致瞬时拥塞和大量丢包。复盘结论：应配置回切延迟（如30秒）和阈值比较，确保新路径稳定后才执行回切。

误区四：故障域划分粒度过粗。仅按机房划分故障域，但同一机房内不同Pod共享了核心交换机。当核心交换机因配置错误导致整个网络震荡时，所有Pod均受影响。更合理的做法是：在Leaf层采用独立的BGP AS或VXLAN网络，使每个Pod具备独立的控制平面，避免单点控制故障扩散。