课程导入：学习目标、课程结构、InfiniBand网络基础与多路径负载均衡的重要性
1.1 为什么需要关注InfiniBand多路径负载均衡
在人工智能、高性能计算（HPC）和超大规模数据中心场景中，InfiniBand（IB）网络已成为GPU集群互联的事实标准。以NVIDIA DGX/HGX系列、HPC集群和云基础设施为代表，单台训练服务器往往需要同时驱动8张GPU卡，每张卡以400Gbps甚至更高的速率持续产生数据流。当这些流量汇聚到IB交换网络时，多路径（Multi-Path）能力成为决定集群整体吞吐量、训练效率和稳定性的关键因素。
IB网络天然支持多路径转发，即同一对源-目的节点之间可以同时存在多条物理链路。然而，“支持多路径”并不等于“高效利用多路径”。如果负载均衡策略不当，流量可能集中在少数几条链路上，造成拥塞、丢包和尾延迟飙升，而其他链路却处于空闲状态。这种“局部热点”现象会直接拖慢分布式训练中的AllReduce、AllGather等集合通信操作，导致GPU利用率下降。
1.2 课程学习目标
完成本课程后，你将能够：
- 理解IB多路径架构：掌握子网管理器（Subnet Manager, SM）如何计算路由，以及LID路由、自适应路由（AR）的基本原理。
- 掌握负载均衡核心机制：区分基于数据包（Packet-based）与基于流（Flow-based）的负载均衡差异，理解哈希冲突对均衡效果的影响。
- 熟练使用调优工具：运用
ibstat、ibroute、perftest、ibdiagnet等工具诊断链路利用率与拥塞状态。 - 实施系统性调优：从拓扑设计、SM策略配置、哈希种子调整、自适应路由开关等多个维度优化多路径效果。
- 建立排障方法论：当出现吞吐不均、链路拥塞时，能够快速定位是哈希问题、拓扑问题还是SM路由计算问题。
1.3 课程结构总览
本课程共30章，按“基础→原理→实操→排障→案例”的逻辑递进，结构如下：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-5章 | IB网络架构、子网管理器、路由基础、多路径概念 |
| 原理篇 | 第6-12章 | 哈希算法、自适应路由、拥塞控制、数据包排序机制 |
| 实操篇 | 第13-20章 | SM配置、OpenSM调优参数、交换机端口配置、性能测试方法 |
| 排障篇 | 第21-26章 | 链路拥塞诊断、哈希冲突分析、路由不对称排查、日志分析 |
| 案例篇 | 第27-30章 | GPU集群训练调优、存储网络多路径、大规模集群实战复盘 |
每一章均配有可操作的命令示例、配置片段和故障场景，确保学员能够将知识直接转化为运维能力。
1.4 InfiniBand网络基础：从链路到子网
InfiniBand是一种高性能、低延迟、支持远程直接内存访问（RDMA）的互联技术。其网络拓扑通常为胖树（Fat-Tree）或Torus结构，由以下核心组件构成：
- HCA（Host Channel Adapter）：服务器端的IB网卡，提供系统内存与IB网络之间的接口。
- Switch（交换机）：负责数据转发，内部包含SM代理或连接外部SM。
- 子网管理器（SM）：运行在指定节点（如OpenSM）上的软件，负责网络发现、路由计算和路径管理。
- LID（Local Identifier）：子网内用于寻址的16位标识符，类似以太网中的MAC地址。
IB网络中的路由以LID为基础。SM为每个端口分配唯一的LID，并计算从源LID到目的LID的转发路径。在无多路径配置时，SM仅计算一条最短路径；而启用多路径后，SM会为同一对LID计算多条路径，并将这些路径下发到交换机的转发表中。
下图展示了IB子网中SM如何为多路径路由建立转发表，以及数据流如何被分发到不同链路上：
图中展示了SM为源节点（LID=1）到目的节点（LID=8）计算出的两条路径：路径1经过Switch A→Switch B，路径2经过Switch C→Switch D。实际转发时，交换机根据数据包的五元组哈希值决定走哪条路径，从而实现多路径负载均衡。
1.5 多路径负载均衡的重要性：三个关键场景
为什么多路径负载均衡如此重要？我们可以从以下三个典型场景理解：
场景一：GPU集合通信流量爆发
在分布式深度学习训练中，每迭代一次都需要执行AllReduce操作。以128台DGX A100服务器为例，每台服务器8张GPU同时产生数据，AllReduce流量可达数百GB。若仅依赖单路径，核心交换机间的上行链路必然成为瓶颈。启用多路径后，流量可均匀分布在所有可用链路上，训练吞吐量可提升2-4倍。
场景二：存储与计算混合流量
在HPC集群中，计算节点同时访问并行文件系统（如Lustre）和进行节点间通信。存储流量通常为长连接大块数据传输，而计算流量为短小高频消息。若哈希算法对两者不加区分，可能导致长连接始终占用同一条链路，造成严重不均衡。通过调整哈希字段（如加入L4端口号），可以将不同应用流量分散到不同路径。
场景三：链路故障后的重路由
当某条链路发生故障时，SM需要重新计算路径。如果未启用多路径，所有受影响流量将切换到剩余的唯一路径，极易引发二次拥塞。而多路径机制允许SM快速将流量分散到多条健康链路上，降低故障影响范围。
1.6 本节小结与学习路径建议
本节作为课程导入，建立了三个关键认知：
- IB多路径是提升集群规模的关键技术，但需要精细调优才能发挥全部性能。
- 负载均衡的核心矛盾在于“路径多样性”与“数据包保序”之间的权衡，后续章节将深入探讨哈希算法如何影响这一平衡。
- 调优需要系统性方法，从拓扑规划、SM配置到流量监控缺一不可。