📚 课程目录第2章 IB网络基础

IB网络基础：InfiniBand架构、协议栈与关键术语

在开始对GPU集群的IB网络进行端到端性能调优之前，必须先建立对InfiniBand（IB）网络本身的清晰认知。IB并非普通的以太网“升级版”，而是一种为高性能计算（HPC）和AI训练场景专门设计的网络架构，其设计目标直指极低的时延、极高的带宽以及极低的CPU卸载开销。理解其分层架构、协议栈以及核心术语，是后续定位性能瓶颈、解读计数器与日志的前提。

2.1 InfiniBand整体架构：从节点到子网

IB网络采用子网（Subnet）作为基本管理域。一个典型的IB子网由以下核心组件构成：

端节点（End Node）：任何连接到IB网络的设备，例如GPU服务器（通过HCA卡）、存储设备或专用计算节点。端节点内部至少包含一个通道适配器（CA），其中服务器侧通常使用主机通道适配器（HCA）。
交换机（Switch）：负责在子网内部转发数据帧。IB交换机不参与路由决策（那是路由器的职责），只负责基于LID进行二层转发。
子网管理器（Subnet Manager, SM）：这是IB网络的大脑，通常运行在某台指定的服务器或交换机上。SM负责网络的初始化、拓扑发现、LID分配、路由计算（FDB表下发）以及监控链路状态。
链路（Link）：连接端节点与交换机或交换机之间的物理介质，常见为铜缆或光纤。

下图展示了GPU集群中一个典型的两层（Leaf-Spine）IB子网拓扑，以及SM、HCA和交换机的逻辑关系：

图中虚线表示SM通过管理数据报（MAD）与所有交换机、端节点通信，实线表示GPU服务器之间的实际数据流量路径。值得注意的是，SM并不参与数据包的转发，它只在网络启动或拓扑变化时计算路由表并下发到交换机。

2.2 IB协议栈分层模型

IB协议栈与TCP/IP模型有本质区别，它更强调硬件卸载和直接内存访问（RDMA）。其分层结构自下而上为：

层次	名称	核心功能	对应OSI层
L2	链路层（Link Layer）	帧封装、流控、错误检测、LID寻址	数据链路层
L3	网络层（Network Layer）	跨子网路由（基于GID）、包转发	网络层
L4	传输层（Transport Layer）	可靠/不可靠连接、多路复用、分段重组	传输层
L5-L7	上层协议（Upper Layer）	RDMA操作、Sockets API、IPoIB、SCSI	会话/表示/应用层

在性能调优中，最常打交道的两个层次是链路层（查看LID、链路速率、误码率）和传输层（查看QP状态、重传计数）。IB的传输层提供了多种服务类型，其中与GPU通信最相关的是：

可靠连接（RC, Reliable Connection）：面向连接，提供确认、重传、排序保证。GPU的RDMA通信（如NCCL）默认使用RC。
不可靠数据报（UD, Unreliable Datagram）：无连接，不保证送达，常用于管理消息。
可靠数据报（RD）：较少使用，结合了RC的可靠性与UD的多播能力。

调优提示：当使用 ibstat 或 ibv_devinfo 查看端口状态时，如果发现 State: Active 但 PhysicalState: LinkUp 而速率显示为 FDR10（而非预期的 EDR 或 HDR），通常意味着链路两端有一方协商失败，降级到了较低速率。这是物理层调优的首要检查点。

2.3 关键术语深度解析

以下术语在IB网络运维中高频出现，理解不准确将直接导致误判。

2.3.1 LID（Local Identifier，本地标识符）

LID是IB子网内的二层地址，由SM在端口初始化时动态分配，范围是1~49151（0x0001~0xBFFF）。每个HCA端口和交换机端口都有一个唯一的LID。LID仅在本子网内有意义，跨子网通信时必须依赖GID。在排查路径时，ibroute 和 perftest 工具输出的LID是定位交换机端口的关键线索。

2.3.2 GID（Global Identifier，全局标识符）

GID是IB网络层的三层地址，长度为128位，由64位子网前缀（Subnet Prefix）+ 64位接口ID（Interface ID）组成。接口ID通常由端口GUID（全球唯一标识符）派生。GID的格式与IPv6地址类似，例如 fe80:0000:0000:0000:0002:c903:00e8:1c20。当配置RoCE（RDMA over Converged Ethernet）时，GID直接映射到IP地址。

2.3.3 子网管理器（SM）与子网管理代理（SMA）

SM负责整个子网的控制面，而每个端口上运行的SMA则负责响应SM的查询和设置请求。SM通过管理数据报（MAD）与SMA通信。在双SM冗余配置中，主SM（Master）故障后，备用SM（Slave）会通过选举机制接管。

2.3.4 队列对（QP, Queue Pair）

QP是IB通信的端点抽象，由发送队列（SQ）和接收队列（RQ）组成。应用程序通过QP发起RDMA操作。每个QP有一个唯一的QP号（QPN），在RC服务中，通信双方必须建立QP连接。调优时，ibv_rc_pingpong 测试的就是两个QP之间的往返时延。

2.3.5 MTU与链路速率

IB链路速率以 SDR（2Gbps）→ DDR（4Gbps）→ QDR（8Gbps）→ FDR10（10Gbps）→ FDR（14Gbps）→ EDR（25Gbps）→ HDR（50Gbps）→ NDR（100Gbps） 演进。MTU（最大传输单元）通常为 2048字节（标准）或 4096字节（扩展）。MTU不匹配会导致分片或丢包，是性能调优中必须确认的参数。

2.4 核心原理：为什么IB比以太网更适合GPU集群？

GPU集群的分布式训练（如AllReduce、AllGather）需要频繁的小消息（<1KB）和大消息（>1MB）混合通信。IB的三大设计特性使其在此场景下表现卓越：

RDMA（远程直接内存访问）：数据直接从GPU显存（通过GPUDirect RDMA）拷贝到远端GPU显存，绕过CPU、绕过内核，时延可低至1~2微秒。
基于信用的流控（Credit-based Flow Control）：IB交换机为每个端口维护信用计数器，接收端有足够缓冲区才允许发送，从根本上避免了丢包。以太网则依赖暂停帧或显式拥塞通知，效率较低。
自适应路由（Adaptive Routing）：现代IB交换机（如NVIDIA Quantum系列）支持基于数据包级别的动态路径选择，避免静态哈希导致的负载不均。

  案例：在8节点A100集群中，使用NCCL的AllReduce测试。当启用GPUDirect RDMA时，通信时延为2.1μs；关闭GPUDirect后，时延飙升至6.8μs，吞吐量下降约40%。这直接体现了IB协议栈中“零拷贝”设计对性能的决定性影响。

2.5 常见误区与复盘

误区1：将LID当作IP地址使用。
在排查跨子网通信时，如果直接使用 ping 命令（IPoIB）测试LID，会得到错误结果。LID是二层地址，IPoIB需要先通过ARP（地址解析协议）将IP映射到GID，再映射到LID。正确做法是使用 ibping 工具（基于MAD）测试LID连通性。

误区2：忽略SM的冗余配置。
某集群在维护中重启了运行SM的服务器，导致整个子网瘫痪5分钟。复盘发现，虽然配置了备用SM，但备用SM的优先级设置错误，未能自动接管。调优建议：使用 smconfig 检查SM状态，确保至少有两个SM的优先级高于默认值，并启用 sm_standby 模式。

误区3：混淆端口物理状态与逻辑状态。
ibstat 输出中 State: Active 表示逻辑上已就绪，而 PhysicalState: LinkUp 表示物理信号正常。如果 State: Down 但 PhysicalState: LinkUp，说明SM尚未完成端口配置，问题出在SM或子网发现阶段，而非物理链路。

2.6 快速自检清单

在进入后续章节的调优操作前，建议先完成以下基础检查：

确认所有HCA和交换机端口的 LID 已分配且唯一（使用 ibswitches 查看）。
确认所有端口的 链路速率 与预期一致（使用 ibstat 查看 Rate 字段）。
确认 MTU 在所有端口上一致（使用 ibping -M 测试）。
确认 SM 运行正常且无冲突（使用 smquery 查看主SM状态）。
确认 GID 前缀一致（使用 ibv_devinfo -v 查看端口GID）。