1. 课程导入：学习目标、课程结构、InfiniBand技术概述与应用场景
1.1 学习目标与课程定位
欢迎进入《InfiniBand交换机配置与故障恢复》课程。在数据中心从“万兆以太网”向“高速无损网络”演进的进程中，InfiniBand（IB）凭借其极低的时延、极高的带宽和原生RDMA（远程直接内存访问）能力，已成为高性能计算（HPC）、人工智能（AI）训练集群以及大规模存储系统的核心互联技术。本课程不讨论抽象的协议理论，而是聚焦于一名网络工程师或集群运维人员在实际工作中必须掌握的交换机操作技能。
完成本章及后续全部内容后，您将能够：
- 理解IB网络架构：清晰描述子网管理器（Subnet Manager, SM）、交换机、HCA（主机通道适配器）之间的角色关系，区分IB网络与普通以太网在管理模型上的本质差异。
- 独立完成基础配置：熟练使用命令行或UFM（Unified Fabric Manager）完成交换机端口状态检查、分区（Partitioning）配置、子网管理器冗余设置。
- 掌握故障恢复流程：面对链路Down、分区不匹配、SM主备切换失败等常见故障，能够按照标准流程定位并恢复。
- 具备排障思维：学会使用
sminfo、ibstatus、ibswitches等工具获取关键信息，并理解日志中关键字段的含义。
1.2 课程结构总览
本课程共分为五个阶段，从基础概念逐步过渡到高级排障。为了帮助您建立整体认知，下表列出了各章节模块及其核心能力目标：
| 模块 | 章节范围 | 核心能力目标 |
|---|---|---|
| 基础与架构 | 第1-5章 | 理解IB协议栈、子网管理器原理、交换机硬件架构 |
| 配置实战 | 第6-12章 | 掌握端口、分区、SM、路由策略的配置命令 |
| 监控与运维 | 第13-18章 | 使用工具监控健康状态，解读性能计数器 |
| 故障恢复 | 第19-25章 | 链路层、网络层、SM层故障的定位与恢复 |
| 优化与案例 | 第26-30章 | 结合AI与HPC场景进行性能调优与容灾设计 |
每一章均包含“原理剖析”、“配置命令”、“故障模拟”与“复盘”四个固定环节。您在学习过程中，应特别关注“故障模拟”部分，因为这是将理论知识转化为动手能力的关键桥梁。
1.3 InfiniBand技术核心原理
与以太网“即插即用”的分布式控制不同，InfiniBand网络采用集中式管理模型。这一设计哲学决定了其所有配置与故障恢复的出发点。
在IB网络中，存在一个逻辑上的核心组件——子网管理器（SM）。SM通常运行在交换机上（如NVIDIA Quantum系列）或独立服务器上。它的职责是：
- 发现物理拓扑：通过SMP（子网管理包）探测所有交换机、HCA和链路。
- 分配LID：为每个端口分配唯一的本地标识符（LID），类似于以太网中的VLAN ID但更精细。
- 计算路由：基于最短路径优先（SPF）算法生成转发数据库。
- 配置分区：强制实施访问控制，确保只有属于同一分区的端口可以通信。
当网络发生故障时（例如电缆松动或交换机重启），SM会通过 traps（陷阱通知）感知拓扑变化，并重新计算路由。这一过程称为“子网重新配置（Subnet Reconfiguration）”。理解这一机制是后续排障的基石。
上图展示了IB网络的核心管理模型。当交换机1与交换机2之间的链路发生中断时，SM会检测到拓扑变化，并立即触发重配置。此时，原本经过故障链路的流量（例如节点A到节点D的通信）会被SM重新计算路径，通过交换机1→HCA节点B→交换机2的迂回路径（图中红色虚线示意）进行转发。值得注意的是，这一过程对上层应用是透明的，但会引入微秒级的时延抖动。
1.4 典型应用场景与配置挑战
理解技术原理后，我们来看实际部署场景。InfiniBand交换机并非通用网络设备，其配置逻辑与业务强相关。以下是三个最常见的场景：
- HPC科学计算：典型如气象预报、基因测序。这类场景对MPI（消息传递接口）通信时延极其敏感。配置重点在于分区隔离，确保计算任务之间不互相干扰，同时开启自适应路由以利用多路径。
- AI大模型训练：分布式训练框架（如NCCL）依赖GPU Direct RDMA技术。此时交换机配置需关注拥塞控制参数的调整，例如开启ECMP（等价多路径）并合理设置缓冲区大小，以避免因“多打一”流量模式导致性能崩塌。
- 存储网络：NVMe over Fabric场景下，IB交换机承担着无损传输的职责。配置时必须启用基于优先级的流控（PFC），并确保所有端口的MTU一致，否则可能引发静默丢包。
1.5 故障恢复的通用方法论
在后续章节中，我们将反复使用一套标准排障流程。现在先建立整体框架，后续每个章节都会针对具体故障类型细化此流程。
- 感知与确认：通过
ibstatus或UFM界面确认故障现象（如端口Down、LID丢失）。 - 信息收集：执行
sminfo查看SM状态，使用ibswitches确认拓扑视图，检查系统日志/var/log/messages中的SMA（子网管理代理）报错。 - 隔离定位：判断故障位于物理层（光模块/线缆）、链路层（信号完整性）还是逻辑层（分区配置错误）。
- 实施恢复：执行端口重启、重新配置分区或强制SM主备切换。
- 验证与复盘：通过
ibping测试连通性，并记录故障根因，更新运维文档。
请务必牢记：IB网络的故障恢复，本质上是“让SM重新建立正确的转发视图”的过程。因此，掌握如何触发SM重新发现拓扑（例如通过smreset命令）是排障的核心技能之一。