1. 课程导入：学习目标、课程结构、InfiniBand技术背景与应用场景
1.1 学习目标与课程定位
欢迎进入《InfiniBand通信拓扑与路由详解》课程。在HPC（高性能计算）、AI训练集群以及大规模数据中心中，InfiniBand（简称IB）已成为无可争议的互连标准。本课程不讨论网卡驱动安装，也不深入物理层信号调制，而是聚焦于决定集群性能上限的逻辑骨架——通信拓扑与路由策略。
完成本章及后续29章学习后，你将能够：
- 理解IB网络的分层架构：从子网管理器（SM）到交换机、端口的角色划分，建立全局视图。
- 掌握核心拓扑结构：Fat-Tree、Torus、HyperX等拓扑的数学规律、布线规则与容错特性。
- 精通路由算法：区分DDR（目的导向路由）、LASH、DFSSP等算法的适用场景与性能差异。
- 具备排障与优化能力：通过
ibnetdiscover、ibroute等工具诊断路由黑洞，并基于计数器数据调整路由策略。
学习建议：本课程每章均配有拓扑示意图与真实集群案例。建议在阅读时同步打开OpenSM的配置文件（如
opensm.conf），将抽象概念与具体参数对应起来，学习效率会显著提升。
1.2 课程结构总览
本课程共30章，按认知逻辑划分为五个递进模块。下表展示了模块划分与核心章节分布：
| 模块 | 章节范围 | 核心主题 |
|---|---|---|
| 基础与架构 | 第1-5章 | IB协议分层、子网管理、链路层寻址 |
| 拓扑深度解析 | 第6-12章 | Fat-Tree变体、Torus维度、不规则拓扑设计 |
| 路由算法与实现 | 第13-20章 | DDR、LASH、自适应路由及OpenSM配置 |
| 性能调优与监控 | 第21-26章 | 拥塞控制、自适应路由、性能计数器解读 |
| 实战与排障 | 第27-30章 | 集群部署案例、路由故障树分析、性能基准测试 |
这种“先建骨架、再填血肉、最后实战”的结构，确保你在面对一个拥有数千节点的IB集群时，能够快速定位其拓扑形态，并选择正确的路由策略。
1.3 InfiniBand技术背景：从I/O总线到网络互连
InfiniBand并非新生事物。其前身源于1999年由Intel、Compaq等公司发起的Next Generation I/O计划，旨在替代PCI总线作为服务器内部I/O互连。虽然最终在服务器内部输给了PCIe，但IB凭借其RDMA（远程直接内存访问）、内核旁路和极低延迟特性，在外部集群互连领域找到了无可替代的位置。
理解IB的关键在于区分它与以太网的本质差异：
- 可靠传输：IB链路层提供基于信用（Credit）的流控，理论上不丢包，这使路由算法无需像TCP那样处理拥塞重传。
- 子网寻址：IB使用64位全局唯一标识符（GUID）和16位本地标识符（LID），LID由子网管理器（SM）动态分配，这直接影响路由表的构建方式。
- 集中式管理：SM是整个子网的大脑，它负责发现拓扑、计算路由并下发转发表。这与以太网的分布式自学习截然不同。
下图展示了IB子网中SM、交换机与端节点之间的管理关系及数据路径，这是理解后续所有路由算法的基础：
上图揭示了IB子网的核心管理模型：SM通过SMP（子网管理报文）与所有交换机通信，而数据报文则沿着SM计算好的路径，从源HCA经过边缘交换机、核心交换机到达目的HCA。注意，数据平面与管理平面完全分离，这为路由算法的集中式优化提供了基础。
1.4 典型应用场景与拓扑需求
不同的工作负载对拓扑和路由有着截然不同的要求。理解这些场景，有助于你在实际项目中做出正确的设计决策。
场景一：HPC科学计算（如气象模拟、分子动力学）
这类应用通常采用MPI（消息传递接口）进行进程间通信，通信模式呈现全对全（All-to-All）特征。因此，Fat-Tree拓扑凭借其无阻塞特性成为首选。路由算法需确保任意两个叶节点之间的聚合带宽不低于单端口带宽，否则会引发严重的通信串扰。
这类应用通常采用MPI（消息传递接口）进行进程间通信，通信模式呈现全对全（All-to-All）特征。因此，Fat-Tree拓扑凭借其无阻塞特性成为首选。路由算法需确保任意两个叶节点之间的聚合带宽不低于单端口带宽，否则会引发严重的通信串扰。
场景二：AI训练集群（如GPT-4训练）
AI训练主要依赖All-Reduce集合通信。虽然Fat-Tree仍被广泛使用，但近年来Torus拓扑（如NVIDIA的DGX H100 SuperPOD采用3D Torus）因其较低的布线成本而受到关注。此时路由算法需支持维度顺序路由，避免死锁。
AI训练主要依赖All-Reduce集合通信。虽然Fat-Tree仍被广泛使用，但近年来Torus拓扑（如NVIDIA的DGX H100 SuperPOD采用3D Torus）因其较低的布线成本而受到关注。此时路由算法需支持维度顺序路由，避免死锁。
场景三：分布式存储（如Lustre并行文件系统）
存储网络流量以南北向为主（客户端到存储服务器），对延迟敏感度低于HPC。此时可采用非对称拓扑，并通过路由策略将不同存储目标映射到不同路径，实现负载均衡。
存储网络流量以南北向为主（客户端到存储服务器），对延迟敏感度低于HPC。此时可采用非对称拓扑，并通过路由策略将不同存储目标映射到不同路径，实现负载均衡。
1.5 常见误区与学习路径提醒
在开始深入拓扑细节之前，先澄清几个初学者极易混淆的概念，这能帮助你避免在后续学习中走弯路：
- 误区一：将IB路由等同于IP路由。IB路由是基于LID的、由SM集中计算的确定性路由，而IP路由是逐跳、分布式的。IB交换机本身不运行路由协议，只负责查表转发。
- 误区二：认为所有IB拓扑都是Fat-Tree。虽然Fat-Tree在商业集群中占比高，但Torus在顶级超算（如Frontier、Fugaku）中占据主导。不同拓扑的数学性质差异巨大。
- 误区三：忽略SM的单一故障点。虽然IB支持主备SM，但SM的切换过程会导致网络短暂中断。在路由设计时，必须考虑SM的冗余部署位置。