1. InfiniBand 技术全景与 NVIDIA 网络产品定位
在构建 HPC 与 AI 集群时，计算节点之间的通信效率往往决定整个系统的实际算力利用率。InfiniBand（简称 IB）正是为这种高吞吐、低延迟、高可靠场景设计的网络技术体系。它不是一块“更快的网卡”，而是一整套从物理链路、链路层协议、路由寻址到上层语义的端到端网络架构。理解 InfiniBand，需要同时看清三件事：它解决什么问题、由哪些关键部件构成、NVIDIA 的各条产品线分别落在什么位置。
一、InfiniBand 在 HPC 与 AI 集群中的角色
传统以太网在通用业务中表现优秀，但在大规模并行计算中会遇到几个瓶颈：一是端到端时延偏高，二是 CPU 需要深度参与协议处理，三是拥塞与丢包会显著拖慢集合通信。InfiniBand 的设计目标正是围绕这些问题展开：它采用基于信用的流控机制，默认不丢包；把传输语义下沉到网卡硬件，实现 RDMA（远程直接内存访问）；并通过集中式管理实现路由与拥塞控制。
在 AI 训练中，这一点尤为关键。以数据并行训练为例，每轮迭代后各 GPU 需要做梯度 AllReduce。若使用 8 卡节点、每卡梯度约 1 GB，一次 AllReduce 的通信量可达数 GB 级别，且必须在毫秒级完成，否则 GPU 会处于等待状态。InfiniBand 通过 RDMA 让数据绕过操作系统内核，直接在网卡与远端内存之间搬运，显著降低 CPU 占用和时延。因此，在 GPU 集群中，IB 通常承担计算平面（Compute Plane）或存储平面（Storage Plane）的高速互联，而管理、监控等流量则走以太网。
二、端到端视角下的关键组成
从工程视角看，一条 IB 通信路径可以拆成几个层次：主机侧由 HCA（Host Channel Adapter，即 IB 网卡）发起，经 PCIe 总线接入；链路侧由铜缆或光模块连接交换机；交换网络由多层交换机组成，通过子网管理器（Subnet Manager，SM）统一分配 LID、计算路由；对端 HCA 接收后写入目标内存。整个过程由 Queue Pair（QP）、Completion Queue（CQ）等机制管理，应用通过 verbs 接口提交工作请求。
这里有两个容易混淆的概念需要先厘清：LID 是子网内的本地标识，由 SM 分配，用于子网内转发；GID 类似 IP 地址，用于跨子网或 RoCE 场景。IB 的寻址与路由是集中式管理的，这与以太网依赖分布式协议有本质区别，也决定了 IB 网络对 SM 的高依赖性——SM 失效会导致新连接无法建立。
三、NVIDIA 三条产品线的分工
NVIDIA 在 InfiniBand 生态中的产品可以按“节点侧—网络侧—卸载侧”来理解。
ConnectX 系列是节点接入的核心，属于 HCA/智能网卡。它负责把主机内存与 IB 网络连接起来，支持 RDMA、GPUDirect RDMA、RoCE 等能力。在 GPU 集群中，GPUDirect RDMA 允许网卡直接读写 GPU 显存，避免数据在 GPU 显存与主机内存之间来回拷贝，这对 AllReduce 等集合通信意义重大。选型时通常关注端口速率（如 200G、400G）、端口数量、PCIe 代际与通道数，以及是否支持 SHARP、GPUDirect 等特性。
Quantum 系列是 InfiniBand 交换机，负责构建交换网络。它提供高密度端口与高带宽交换能力，支持多层 Fat-Tree、DragonFly 等拓扑。Quantum 的一个重要能力是 SHARP（Scalable Hierarchical Aggregation and Reduction Protocol），它把集合通信中的归约操作下沉到交换机内部完成，减少端点之间的数据往返。对于大规模 AI 训练，SHARP 能显著降低 AllReduce 的通信开销。
BlueField 系列是 DPU（数据处理器），定位与 ConnectX 不同。它不只是网卡，而是一颗可编程的片上系统，能够把网络、存储、安全等基础设施功能从主机 CPU 卸载下来。在 IB 场景中，BlueField 常用于承载存储访问、虚拟化网络、安全策略等，让主机 CPU 更专注于计算任务。可以把它理解为“主机侧的基础设施卸载引擎”。
四、建立端到端网络工程视角
把这三条产品线放回一条通信路径，就能形成完整的工程视角：应用在 GPU/CPU 上发起通信，经 verbs 接口提交到 ConnectX HCA；HCA 通过 PCIe 与主机连接，通过 IB 链路接入 Quantum 交换网络；交换机依据 SM 下发的路由转发；对端 HCA 接收并写入目标内存。若涉及存储或安全卸载，BlueField 则在主机侧承担相应职责。
这个视角对后续章节非常重要。因为在实际工程中，性能问题往往不是单点故障，而是链路、网卡、交换机、SM 配置、拓扑设计共同作用的结果。例如，AllReduce 慢可能是 SHARP 未启用，也可能是链路降速、PCIe 带宽不足或路由不均衡。只有先建立端到端视角，才能在排障时快速定位问题所在的层次。