4. InfiniBand架构：子网管理器、通道适配器、交换机、路由器等组件

4.1 核心组件与分层模型

InfiniBand（IB）不是简单的“高速网线”，而是一套完整的、面向数据中心与高性能计算（HPC）的交换式网络架构。理解IB架构，首先要抓住它的核心思想：将计算节点、存储与网络控制平面解耦，通过通道（Channel）与队列对（QP）实现高带宽、低时延、低CPU开销的数据传输。IB规范定义了物理层、链路层、网络层、传输层，但真正让IB区别于以太网的，是其独特的子网（Subnet）管理机制与硬件组件分工。

一个典型IB子网由以下关键组件构成，它们各司其职，缺一不可：

• 子网管理器（Subnet Manager, SM）：控制平面的大脑，负责发现拓扑、分配LID（局部标识符）、计算路由表并下发至交换机。
• 通道适配器（Channel Adapter, CA）：端节点的“网卡”，分为主机通道适配器（HCA，用于服务器）和目标通道适配器（TCA，用于存储/专用设备）。
• IB交换机（Switch）：子网内部数据转发核心，基于LID转发数据包，不修改报文内容。
• IB路由器（Router）：连接不同IB子网（或IB与其它网络）的“网关”，基于GID（全局标识符）转发，实现跨子网通信。

下图展示了这些组件在一个双子网互联场景中的逻辑关系与数据路径：

4.2 子网管理器（SM）与子网管理接口（SMI）

SM是IB子网中最核心的控制实体，它运行在某个端节点（通常是HCA或专用管理节点）上，通过子网管理接口（SMI）与交换机、CA通信。SM的启动过程是一个“发现-配置-下发”的循环，具体流程如下：

1. 拓扑发现：SM发送SubnAdmGet（子网管理属性查询）报文，逐跳扫描所有交换机端口和CA，构建完整的物理拓扑图。
2. 路径计算：基于拓扑图，SM使用最短路径优先（SPF）算法（类似OSPF）计算任意两个端节点之间的最优路径，并生成线性转发表（LFT）。
3. LID分配：为每个端口分配唯一的16位LID（子网内有效）。LID 0x0000保留，0xFFFF用于广播。
4. 配置下发：SM将LFT写入每台交换机的硬件转发表中，同时将LID、MTU、端口速率等参数告知各CA。
5. 持续监控：SM定期发送SubnAdmGet轮询交换机端口计数器，检测链路状态变化（如端口Down、新设备接入），并触发重新配置。

SM支持主备冗余机制。子网中可配置多个SM，但同一时刻只有一个处于Master状态，其余为Standby。Master SM通过心跳报文宣告存活，若Standby SM在超时（通常为几秒）内未收到心跳，则自动提升为Master并接管子网管理。这种机制保证了控制平面的高可用性。

4.3 通道适配器（HCA/TCA）与队列对（QP）机制

通道适配器是端节点接入IB网络的“翻译官”。它负责将主机内存中的数据封装成IB报文，并通过直接内存访问（DMA）技术绕过CPU，实现零拷贝传输。HCA内部包含多个硬件队列，核心抽象是队列对（QP）。

每个QP由发送队列（SQ）和接收队列（RQ）组成。软件（如MPI库）通过动词（Verbs）接口（如 ibv_post_send）将工作请求（WR）提交到SQ，HCA硬件自动完成以下操作：

• 从内存中抓取数据，分割成适合MTU的报文（通常为2KB或4KB）。
• 添加基址路由头（LRH），包含源/目的LID、服务等级（SL）等。
• 若跨子网，则添加全局路由头（GRH），包含源/目的GID（128位IPv6格式地址）。
• 通过循环冗余校验（CRC）保证数据完整性，然后发送到链路上。

接收端HCA根据报文中的LID/GID将数据放入对应的RQ，并通过完成队列（CQ）通知应用程序。整个过程CPU占用率极低，这是IB相比TCP/IP协议栈的巨大优势。

4.4 交换机与路由器：转发机制的本质区别

IB交换机与路由器虽然都负责数据转发，但工作层次与决策依据完全不同，理解这一点对排障至关重要。

IB交换机工作在链路层（L2），仅依据报文中的LID进行转发。交换机内部维护一张由SM下发的线性转发表（LFT），表项结构为：入端口 + 目的LID → 出端口。交换机不修改报文内容，只做存储转发或直通转发（cut-through）。由于LID是子网内唯一的，交换机无需了解IP地址或路由协议，因此转发延迟极低（通常小于100纳秒）。

IB路由器则工作在网络层（L3），用于连接两个或多个IB子网。路由器必须检查报文中的GID（64位子网前缀 + 64位接口ID），并查询路由表决定将报文转发到哪个子网。路由器会重写LRH（因为LID在不同子网可能重复），但保留GRH不变。跨子网通信的延迟比子网内通信高一个数量级（微秒级），因此设计时应尽量让频繁通信的节点位于同一子网。

4.5 案例：典型HPC集群的IB组网与排障复盘

某高校AI集群采用“两层Fat-Tree”拓扑，包含64个计算节点（每节点1块HDR HCA），4台核心交换机（36端口），2台管理节点（运行SM）。组网规划如下：

# 网络规划示例
# 计算节点：hca1-hca64，LID 0x01-0x40
# 核心交换机：sw-core1/2/3/4，LID 0x41-0x44
# 管理节点：sm-node1（主SM），sm-node2（备SM）
# 子网前缀：0xfe80000000000000
# 分区（PKey）：default=0x7fff，admin=0x0001

某次训练任务中，节点间通信出现严重超时。排障过程如下：

1. 在管理节点执行 ibdiagnet，发现链路状态正常，但端口速率协商为EDR（100Gb/s）而非预期的HDR（200Gb/s）。
2. 检查线缆与光模块，发现部分线缆为EDR规格，导致速率降级。
3. 更换为HDR线缆后，执行 ibportstate -l 1 1 reset 重置端口，再执行 ibportstate -l 1 1 enable 启用端口。
4. 重新运行 ibdiagnet，确认所有链路均为HDR速率，问题解决。

复盘结论：物理层协商失败是IB网络中常见的隐性故障，SM不会报错，但性能会大幅下降。建议在部署时使用 ibstat 检查每个端口的 Rate 字段，确保与预期一致。