InfiniBand网络基础：网络拓扑、节点结构、子网管理器与子网概念
核心原理：从“计算节点互联”到“子网自治域”
InfiniBand（IB）网络并非简单的“高速网卡+交换机”堆叠，而是一个具有明确分层治理模型的独立子网（Subnet）体系。理解IB网络的第一步，是建立两个关键认知：子网是IB管理的基本单元，而子网管理器（Subnet Manager, SM）是子网的“控制大脑”。一个IB子网由若干节点（如主机通道适配器HCA、交换机、路由器）通过链路连接而成，所有节点共享同一个SM的管理域。SM负责发现物理拓扑、分配局部ID（LID）、计算路由表并下发至各交换机，从而让数据包能够在子网内按“LID寻址”的方式转发。
与以太网“即插即用、分布式生成树”不同，IB网络采用集中式管理模型。每个子网内至少存在一个SM（通常运行在专用管理节点或某个计算节点上），子网内的所有交换机都是“受控转发设备”，它们本身不具备自主路由能力，必须依赖SM下发的转发数据库。这种设计带来了极高的确定性和低延迟，但也意味着SM的可靠性直接决定整个子网的可用性。
核心概念速览：
- 子网（Subnet）：由一个SM管理的一组IB设备及其互连链路，是IB网络管理、寻址和故障隔离的基本域。
- 子网管理器（SM）：负责拓扑发现、LID分配、路由计算、交换机配置和状态监控的软件实体，通常运行在专用管理节点或主计算节点上。
- 节点（Node）：任何连接在IB子网上的设备，包括主机通道适配器（HCA）、目标通道适配器（TCA）、IB交换机、IB路由器。
- 端口（Port）：节点上的物理接口，每个端口有唯一的端口GUID和子网内唯一的LID。
节点结构与端口寻址体系
IB网络中的每个节点都包含一个或多个端口（Port），端口是数据包进出节点的物理通道。每个端口拥有两类关键标识：
- 端口GUID（Global Unique Identifier）：64位全球唯一标识，由厂商烧录，类似以太网MAC地址，用于设备身份识别。
- LID（Local Identifier）：16位局部标识，由SM在子网初始化时动态分配，仅在当前子网内有效。LID是IB数据包在子网内转发时使用的二层地址。
以典型的主机通道适配器（HCA）为例，一个HCA可能包含1个或2个端口。每个端口在子网内拥有独立的LID，这意味着一个双端口HCA可以同时连接到两个不同的IB交换机，实现冗余或负载均衡。交换机节点则拥有多个端口（如36端口、72端口），每个端口同样需要分配LID，但交换机的端口LID主要用于管理通信，数据转发时交换机依据数据包DLID（目的LID）查找转发数据库，将包从对应端口送出。
方法流程：SM如何构建子网“交通地图”
子网管理器启动后，会经历一个标准化的六阶段流程来建立子网转发视图：
- 发现阶段：SM通过发送子网管理包（SMP）广播，探测所有在线节点和交换机，收集它们的端口GUID、节点类型、端口数、链路状态等信息。
- LID分配阶段：SM为每个端口分配唯一的LID，并通告给对应节点。LID范围通常从0x0001开始，0xFFFF保留用于多播。
- 拓扑构建阶段：SM根据收集到的端口连接关系，构建完整的子网拓扑图，识别交换机之间的层级关系。
- 路由计算阶段：SM基于拓扑图计算从任意源端口到任意目的端口的最优路径。IB支持多种路由算法（如LASH、DOR、Torus-2QoS），默认通常采用最短路径优先并避免死锁。
- 配置下发阶段：SM将计算出的转发数据库（线性转发表LFT）写入每台交换机的硬件表项中。
- 监控与维护阶段：SM持续监听网络状态，当有节点加入或离开时，重新执行上述流程以更新拓扑和路由。
实操提示：在Mellanox/NVIDIA环境中，使用 ibnetdiscover 命令可以查看SM发现的拓扑，使用 ibstatus 查看本节点端口状态和LID分配情况。例如：
# 查看本机IB端口状态
ibstatus
# 输出示例
State: Active
Physical state: LinkUp
Rate: 100 (FDR10)
Base LID: 0x0011
LMC: 0
Port GUID: 0x248a070300d0e05b案例/场景：双SM冗余与子网分区
在一个大型HPC集群中，通常配置主SM和备SM（Standby SM）。主SM负责日常管理，备SM通过心跳机制监控主SM状态。一旦主SM故障，备SM在数秒内接管管理权，重新执行发现和路由计算，保证子网不中断。这种设计避免了单点故障。
另一个典型场景是分区（Partition）。IB通过分区机制实现类似以太网VLAN的隔离。SM在分配LID的同时，还会为每个端口配置分区成员资格（P_Key）。只有拥有相同P_Key的端口才能相互通信。例如，在存储网络和计算网络共存的IB子网中，可以将存储节点和计算节点划分到不同分区，确保存储流量不会被计算节点间的广播干扰。
| 管理对象 | 标识方式 | 分配者 | 作用域 | 类比以太网 |
|---|---|---|---|---|
| 节点设备 | Node GUID (64位) | 厂商烧录 | 全球唯一 | MAC地址 |
| 物理端口 | Port GUID (64位) | 厂商烧录 | 全球唯一 | 接口MAC |
| 子网内端口 | LID (16位) | SM动态分配 | 子网内唯一 | VLAN ID + IP |
| 分区成员 | P_Key (16位) | SM配置 | 子网内有效 | VLAN ID |
误区/复盘：常见认知偏差与排障思路
误区1：认为LID是“静态配置”的。实际上，LID由SM在每次子网初始化或拓扑变化时动态分配。如果SM重启或链路闪断，端口LID可能发生变化。因此，依赖固定LID的应用程序应改用GID（全局ID，基于IPv6格式）进行通信。
误区2：混淆“子网”与“IB网络”的概念。一个物理IB网络可以通过划分多个子网（每个子网有独立SM）来隔离故障域，但跨子网通信必须经过IB路由器，且路由器不属于任何单一子网。初学者常误以为整个IB网络就是一个子网。
误区3：忽略SM的CPU/内存资源占用。在超大规模集群（超过数千节点）中，SM的拓扑计算和路由计算会消耗大量CPU资源。如果SM运行在业务计算节点上，可能导致计算性能抖动。生产环境建议将SM部署在专用管理节点上，并配置优先级。
排障复盘：当遇到“节点无法通信”的问题时，首先使用 ibping 测试LID连通性，然后检查 ibswitches 查看SM是否已正确发现所有交换机。若发现某个交换机未被SM纳管，大概率是该交换机与SM之间的SMP通道异常，或交换机固件处于“未初始化”状态。此时应检查物理链路和交换机日志，而非盲目重启所有节点。