1. 课程导入：学习目标、课程结构、InfiniBand技术背景与应用场景

1.1 为什么需要学习InfiniBand拓扑与路由

现代高性能计算（HPC）、人工智能训练集群以及大规模分布式存储系统，正面临一个共同的瓶颈：数据搬运速度远低于计算速度。当数千块GPU协同训练一个大模型时，参数同步、梯度聚合产生的通信量可达数百GB/s级别。传统以太网在延迟、丢包重传和CPU卸载能力上逐渐力不从心，而InfiniBand（IB）正是为这种严苛的互连场景而生的网络技术。

然而，InfiniBand网络的强大能力并非“即插即用”。它的子网管理器（Subnet Manager, SM）负责发现物理拓扑、计算路由路径并下发转发规则，这一机制与以太网的自动协商、生成树协议完全不同。如果工程师不理解IB的拓扑结构（如Fat-Tree、Torus）和路由算法（如LID路由、自适应路由），就无法设计出高带宽、低延迟且无死锁的集群网络。本课程正是围绕这一核心矛盾展开：如何理解并驾驭InfiniBand的拓扑与路由机制。

1.2 课程学习目标

完成本课程后，你将能够：

• 理解IB网络分层架构：物理层、链路层、网络层、传输层与上层协议的关系，特别是子网与LID（Local Identifier）的寻址逻辑。
• 掌握典型拓扑结构：从单子网到多子网，从Fat-Tree到Dragonfly+，能根据应用规模选择合适拓扑。
• 解析路由机制：SM如何计算路由？LID路由与GRH（Global Route Header）路由的区别？自适应路由（AR）何时生效？
• 具备排障能力：当出现PKey不匹配、子网管理器冲突、链路降速时，能通过ibstatus、ibnetdiscover等工具快速定位问题。
• 设计高可用网络：理解冗余链路、多SM主备切换、分区（Partition）隔离在IB网络中的实现方式。

1.3 课程结构总览

本课程共30章，按“基础→进阶→实战”三个层次组织，每章均配有拓扑示意图与配置案例。下表展示了课程的核心模块分布：

每一章都包含原理讲解、拓扑/路由图例、命令行实操以及常见误区复盘。建议按顺序学习，因为后续章节会频繁引用前文定义。

1.4 InfiniBand技术背景：从HPC到AI集群

InfiniBand诞生于1999年，由Intel、Compaq、IBM等公司联合推出，最初目标是替代PCI总线成为服务器内部I/O互连标准。虽然它在通用计算领域未能取代PCIe，却在高性能计算互连领域找到了不可替代的位置。目前全球Top500超算中，超过一半采用InfiniBand作为主要互连网络，包括美国橡树岭国家实验室的Frontier、日本筑波大学的Tsubame等。

InfiniBand之所以在AI时代重新爆发，源于三个关键特性：

1. RDMA（远程直接内存访问）：网卡硬件绕过CPU和操作系统内核，直接从GPU显存或主机内存读写远端数据，延迟低至微秒级。
2. 无损网络：基于信用（Credit）的流控机制，理论上不丢包，避免了TCP重传带来的性能悬崖。
3. 高带宽演进：从早期的SDR（10Gbps）到如今的NDR（400Gbps），单端口速率持续翻倍，且支持端口聚合。

下图展示了InfiniBand在AI训练集群中的典型位置——它连接GPU服务器与存储节点，构成无阻塞通信平面：

从上图可以看到，IB网络在AI集群中承担着东西向流量（GPU间通信）与南北向流量（读写存储）的双重角色。核心交换机上的SM负责维护整个子网的转发数据库，任何一条链路故障或新节点加入，SM都会在数百毫秒内完成重路由——这种动态响应能力是以太网难以企及的。

1.5 典型应用场景与选型考量

根据实际部署经验，IB网络主要出现在以下四类场景中：

• 科学计算（HPC）：分子动力学模拟、气象预报、天体物理计算。这类应用对MPI通信延迟极其敏感，通常采用胖树拓扑，并使用ib_write_bw等工具验证带宽。
• AI大模型训练：千卡级GPU集群。需要将梯度同步时间压缩到极致，常采用无阻塞Fat-Tree或Dragonfly+拓扑，并开启自适应路由以应对All-to-All通信模式。
• 高性能存储网络：NVMe-oF（NVMe over Fabric）存储阵列。IB提供的RDMA能力让存储节点CPU占用率大幅下降，IOPS和延迟表现远优于iSCSI。
• 金融高频交易：极低延迟的订单撮合系统。IB的硬件多播（Multicast）和确定性延迟特性，使其在部分交易场景中替代了传统以太网。

1.6 常见误区与学习路径建议

初学者在学习IB拓扑与路由时，容易陷入以下三个误区：

1. 将IB子网等同于IP子网：IB的LID是16位地址，由SM动态分配，而IP地址是静态配置的。IB中一个物理子网内所有节点通过LID直接通信，无需三层路由；跨子网才需要GRH。
2. 忽视SM的重要性：没有SM，IB交换机不会转发任何数据包。生产环境必须配置主备SM，并启用sm_poll机制监控SM健康状态。
3. 盲目追求全速Fat-Tree：Fat-Tree的“无阻塞”需要所有上行链路带宽总和等于下行带宽。如果交换机端口速率不匹配（如混合HDR100与HDR200），实际带宽会大打折扣。

建议的学习路径是：先掌握第2~5章的基础术语（LID、GID、QKey、PKey），再通过第9~12章的拓扑计算练习建立空间感，最后在第16~20章深入路由算法时，多结合ibroute命令的输出进行验证。每章后的“动手实验”环节，请务必在真实交换机或OpenSM模拟环境中完成。