4、核心组件详解：HCA、交换机与路由器
4.1 HCA（主机通道适配器）：计算节点接入IB网络的“翻译官”
在InfiniBand架构中，计算节点（服务器）本身并不直接“说”IB网络的语言——它们通过PCIe总线与外部通信。HCA（Host Channel Adapter，主机通道适配器）正是承担这一桥梁角色的关键组件。它一端插入服务器的PCIe插槽，另一端连接IB线缆，完成从“PCIe事务”到“IB报文”的双向转换。
HCA的核心功能可归纳为以下四点：
- 协议卸载（Offload）：将RDMA（远程直接内存访问）、传输层重传、流量控制等复杂逻辑从CPU卸载到HCA硬件，使CPU专注于计算任务。这也是IB网络延迟低至微秒级的关键原因。
- 内存语义访问：支持RDMA Read/Write/Atomic操作，允许远端节点直接读写本机内存区域，无需双方CPU参与数据拷贝。
- 多队列与QoS：提供多个虚拟通道（VL）和服务等级（SL），可对不同业务流（如存储、计算、管理）进行优先级隔离。
- 可靠传输保障：硬件级重传、丢包检测和确认机制，保证端到端无损传输。
4.2 交换机（Switch）：构建无阻塞转发平面的核心
IB交换机负责在多个端口之间高速转发数据帧，其设计目标与以太网交换机有本质区别：IB交换机采用无阻塞（Non-blocking）架构，即所有端口可以同时以线速收发数据，不产生内部拥塞。这依赖于交叉开关（Crossbar）矩阵和基于信用（Credit）的流控机制。
交换机的主要类型与端口特性如下表所示：
| 类型 | 典型端口数 | 单端口速率 | 适用场景 |
|---|---|---|---|
| 边缘交换机（Leaf） | 36~64端口 | 400Gb/s（NDR） | 直接连接服务器HCA，通常采用1U或2U盒式形态 |
| 骨干交换机（Spine） | 64~128端口 | 400Gb/s~800Gb/s | 连接边缘交换机，构建大规模Fat-Tree拓扑 |
| 导向器（Director） | 数百端口 | 200Gb/s~400Gb/s | 模块化机箱，用于超大规模集群或存储网络 |
交换机端口通常以QSFP-DD或OSFP形式提供，支持拆分线缆（如1×400Gb/s拆分为4×100Gb/s）。每个端口可配置为不同服务等级（SL），并通过自适应路由（AR）在Fat-Tree拓扑中动态选择路径，避免局部拥塞。
4.3 路由器（Router）：跨越子网边界的“外交官”
IB路由器用于连接两个独立的IB子网（Subnet），或连接IB网络与以太网/IP网络。与交换机不同，路由器工作在网络层（L3），需要解析报文中的全局ID（GID）并执行路由查找。IB路由器的主要作用包括：
- 子网间通信：当集群规模超过单个子网的管理能力（通常每个子网最多约4万个节点）时，通过路由器扩展规模。
- 异构网络互连：通过IPoIB（IP over IB）或RoCE路由器，实现IB与以太网数据中心的互通。
- 策略与隔离：在子网边界实施访问控制列表（ACL），隔离故障域或安全域。
4.4 案例：三节点集群的组件选型与连接
假设需要搭建一个包含3台GPU服务器的小型IB集群，用于分布式AI训练。推荐配置如下：
节点配置：
- 每台服务器：1块 ConnectX-7 HCA（单端口NDR 400Gb/s）
- 交换机：1台 36端口NDR交换机（如NVIDIA QM9790）
- 线缆：3根 QSFP-DD 无源铜缆（长度≤3m）或光模块+光纤
连接拓扑：
Server1-HCA ──端口1──┐
Server2-HCA ──端口2──┼── Switch (端口1~3)
Server3-HCA ──端口3──┘
子网管理器（SM）运行于交换机或独立管理节点该场景中，所有HCA与交换机端口均处于同一子网（默认GID前缀），无需路由器。交换机通过子网管理器（SM）自动完成路径计算和流控配置，实现约0.6μs的节点间延迟。
4.5 常见误区与复盘
复盘要点：在IB网络设计中，HCA决定了端节点的接入能力，交换机决定了网络的规模与转发性能，路由器则用于边界扩展。三者选型需遵循“速率匹配、协议一致、拓扑对齐”的原则。实际部署时，应优先使用子网管理器（SM）的自动配置功能，减少手动设置端口的出错概率。