1. 课程导入：学习目标、课程结构、InfiniBand网络的应用场景与价值
1.1 为什么需要学习 InfiniBand？
在人工智能、高性能计算（HPC）和云计算快速发展的今天，数据中心内部的数据流量呈指数级增长。传统的以太网在应对大规模并行计算、分布式存储和GPU集群通信时，逐渐暴露出延迟高、丢包率大、CPU开销重等瓶颈。InfiniBand（简称IB）作为一种专为高性能计算设计的网络互联技术，凭借其超低延迟、高带宽、RDMA（远程直接内存访问）等核心特性，已成为全球Top500超级计算机和AI训练集群的首选互联方案。
本课程面向网络工程师、系统架构师和AI基础设施运维人员，从零开始系统讲解InfiniBand网络的部署、配置与调优。无论你之前是否接触过IB，通过本课程的学习，你将能够独立完成一套小型IB集群的搭建，并理解其底层工作原理。
- 描述InfiniBand网络在HPC与AI场景中的核心价值；
- 区分IB网络中的关键术语：子网管理器（SM）、LID、GID、QP等；
- 识别IB网络的主要硬件组件（HCA、交换机、线缆）；
- 理解本课程30章的整体知识脉络与实验环境准备方法。
1.2 课程整体结构概览
本课程共30章，按照“基础原理 → 硬件部署 → 软件配置 → 性能调优 → 故障排查 → 实战案例”的逻辑递进。前5章聚焦IB协议架构与核心概念；第6～12章讲解子网管理器、分区机制及路由配置；第13～18章覆盖驱动安装、RDMA编程基础；第19～24章深入性能监控与调优工具；最后6章通过真实案例复盘，帮助你建立端到端的排障思路。
| 模块 | 章节范围 | 核心主题 |
|---|---|---|
| 基础原理 | 第1～5章 | IB协议栈、寻址、数据包格式 |
| 网络部署 | 第6～12章 | 子网管理器、分区、交换机配置 |
| 软件与驱动 | 第13～18章 | 驱动安装、RDMA verbs、存储协议 |
| 调优与监控 | 第19～24章 | 性能工具、拥塞控制、参数优化 |
| 实战与排障 | 第25～30章 | 案例复盘、故障树分析、性能诊断 |
1.3 InfiniBand 核心价值与典型应用场景
InfiniBand并非一项新技术，它诞生于1999年，但直到AI时代才真正迎来爆发。其价值集中体现在三个维度：极低延迟（亚微秒级）、超高吞吐（单端口400Gbps+）、CPU卸载（RDMA免拷贝）。这些特性使得IB成为以下场景的“刚需”：
- AI大模型训练：GPU集群中，每轮梯度同步需要AllReduce操作，IB的RDMA能力可将同步时间缩短数倍；
- 高性能计算：气象模拟、基因测序、流体力学等科学计算依赖MPI并行库，IB的可靠传输显著提升并行效率；
- 分布式存储：NVMe over Fabric（NVMe-oF）常运行在IB上，实现微秒级存储访问延迟；
- 高频交易与大数据：金融领域利用IB低抖动特性，保证交易系统的时间确定性。
1.4 一张图看懂 IB 网络架构
下图展示了一个典型的两层InfiniBand fat-tree拓扑。图中包含核心交换机、边缘交换机、计算节点（HCA卡）和存储节点。注意子网管理器（SM）通常运行在某台管理服务器上，负责整个子网的路径计算与转发配置。
图中，子网管理器（SM）是整个IB子网的控制平面，负责LID分配、路径计算和故障切换。计算节点通过HCA卡（主机通道适配器）接入边缘交换机，边缘交换机再上行至核心交换机，形成无阻塞的fat-tree结构。存储节点同样通过IB接口接入，实现统一的RDMA存储访问。
1.5 常见误区与学习建议
误区2：忽略子网管理器的重要性。IB网络必须有一个SM运行，否则所有端口都无法激活。初学者常忘记启动opensm服务，导致“链路Up但通信失败”。
误区3：盲目追求高带宽而忽略延迟调优。IB的延迟受MTU、拥塞控制参数、HCA固件版本等多因素影响，需要系统性调优。
opensm、ibutils、perftest）。动手实践远比只看理论重要。