4. IB网络硬件组件
核心原理：IB网络硬件分层与性能锚点
InfiniBand（IB）网络并非简单的“高速网卡+交换机”组合，而是一套由HCA（Host Channel Adapter）、IB交换机、线缆与光模块构成的端到端传输体系。每个组件都定义了明确的性能边界，而集群的实际吞吐量取决于最弱的一环。理解各组件在数据通路中的位置与作用，是进行选型和后续调优的前提。
硬件组件选型要点
1. HCA（主机通道适配器）
HCA是GPU服务器接入IB网络的“门户”，其核心性能参数包括：
- 端口速率：当前主流为 NDR 400Gb/s（CX-7系列），上一代 HDR 为 200Gb/s。选型时需与交换机端口速率严格匹配。
- PCIe 接口版本与通道数：CX-7 需要 PCIe Gen5 x16 才能跑满 400Gb/s 带宽。若服务器仅支持 PCIe Gen4 x16（理论带宽约 256Gb/s），则实际吞吐将被限制在约 350Gb/s 左右。
- GPU Direct RDMA 支持：必须支持 GPUDirect RDMA，允许 GPU 显存与 HCA 之间直接数据交换，绕过 CPU 内存拷贝，这是实现多节点 AllReduce 高效通信的关键。
- 固件与驱动版本：不同固件版本对拥塞控制算法（如 DCQCN）的支持程度不同，建议统一到 NVIDIA 官方认证的固件基线。
2. IB 交换机
交换机是整个 IB 网络的“十字路口”，其选型决定了集群的规模上限与拥塞控制能力。以 NVIDIA Quantum QM9700 为例：
- 端口密度与速率：32 个 NDR 400Gb/s 端口，或通过拆分线缆（splitter cable）将每个端口拆分为 2×200Gb/s，从而连接更多低速节点。
- 无阻塞架构：交换背板带宽需 ≥ 所有端口速率之和，否则在高负载下会出现内部丢包。QM9700 的背板带宽为 51.2Tb/s，确保 32×400G 全速转发。
- 自适应路由与拥塞控制：支持自适应路由（AR）和显式拥塞通知（ECN），在 GPU 集体通信流量突发时，能动态调整路径，减少 HOL（Head-of-Line）阻塞。
- 管理接口：需支持标准 SNMP、Syslog 和 NVIDIA UFM（Unified Fabric Manager），便于后续监控与调优。
3. 线缆与光模块
线缆是连接 HCA 与交换机的物理介质，其选型直接影响信号完整性与传输距离：
| 类型 | 传输距离 | 适用场景 | 注意事项 |
|---|---|---|---|
| DAC（无源铜缆） | ≤ 3~5 米 | 机柜内同交换机短距离连接 | 成本最低、功耗为零，但线径较粗，弯曲半径大 |
| AOC（有源光缆） | 5~30 米 | 相邻机柜或跨机柜连接 | 光模块集成在线缆两端，不可分离，故障时整根更换 |
| 可插拔光模块 + 光纤 | 30~100+ 米 | 跨列、跨机房连接 | 需单独选型 OSFP 模块与对应光纤（如 OM4/OM5 多模或 SMF 单模） |
选型经验：在 GPU 集群内部（同一机柜内），优先使用 DAC 铜缆以降低功耗与成本；跨机柜或跨列时，使用 AOC 或可插拔光模块。切勿在超过 5 米的链路上强行使用 DAC，否则会出现高误码率（BER）导致重传，性能断崖式下降。
方法流程：从需求到选型的四步决策法
- 确定带宽需求：根据 GPU 型号与训练任务（如 LLM 训练），计算单节点所需的聚合通信带宽。例如，8×H100 节点运行 Megatron-LM 时，张量并行通常需要 400Gb/s 端口，而数据并行可能 200Gb/s 即可。
- 评估服务器 PCIe 能力：检查服务器主板 PCIe 插槽的版本与通道数。若只有 PCIe Gen4 x16，则选择 200Gb/s HDR 的 HCA 性价比更高，而非盲目上 400Gb/s NDR。
- 规划网络拓扑与线缆长度：绘制机柜布局图，测量 HCA 端口到交换机端口的实际走线距离。根据距离选择 DAC、AOC 或光模块+光纤。
- 验证兼容性矩阵：在 NVIDIA 官方兼容性列表中，核对 HCA 固件、交换机软件版本、线缆型号与光模块是否互相认证。非认证组合可能导致链路无法 up 或频繁误码。
案例/场景：400G NDR 集群的选型实战
某互联网公司建设 32 节点 GPU 集群，每节点 8×H100，用于大模型训练。机柜布局为每机柜 4 节点，共 8 个机柜，交换机集中部署在每列末端的两个机柜内。
- HCA 选型：选用 NVIDIA ConnectX-7 单端口 400Gb/s，确保服务器 PCIe Gen5 x16 插槽可用。
- 交换机选型：每列部署 1 台 QM9700 作为 Leaf 交换机，共 8 台；2 台 QM9700 作为 Spine，构成两层 Clos 拓扑。
- 线缆规划：节点到 Leaf 交换机距离约 8~12 米（跨机柜），选用 AOC 有源光缆；Leaf 到 Spine 距离约 20 米，选用可插拔 OSFP 光模块 + OM4 多模光纤。
- 验证结果：使用 ib_write_bw 测试单链路带宽达到 398Gb/s（线速的 99.5%），端到端延迟 1.2μs。但在运行 AllReduce 测试时发现，跨 Spine 的流量吞吐仅为 320Gb/s，排查发现 Leaf 到 Spine 的光模块发射功率偏低（-4.2dBm），更换模块后恢复至 390Gb/s。
误区/复盘：常见选型与部署陷阱
误区一：盲目追求 400G 而忽略 PCIe 瓶颈。
某团队在 PCIe Gen4 x16 服务器上部署 CX-7 400G HCA，实测带宽仅 340Gb/s。复盘发现 PCIe Gen4 x16 理论带宽为 256Gb/s（单向），加上协议开销后无法满足 400G 网卡需求。正确做法是选用 200G HDR 或升级服务器平台。
误区二：混用不同厂商的光模块。
在 IB 网络中，光模块必须经过 NVIDIA 认证。使用第三方“兼容”模块可能导致链路训练失败，或出现间歇性误码。某案例中，混用未认证模块后，训练任务每 2 小时中断一次，最终全部更换为 NVIDIA 认证模块后稳定运行。
误区三：忽略线缆弯曲半径与标签管理。
DAC 铜缆弯曲半径过小会导致内部屏蔽层损伤，引起信号反射。某机房因线缆绑扎过紧，导致 4 条链路 BER 升高，重传率高达 0.3%。复盘后重新整理线缆，并采用不同颜色标签区分 DAC/AOC/光纤，便于后续排障。
性能参数速查清单
| 组件 | 关键参数 | 推荐值/范围 | 影响 |
|---|---|---|---|
| HCA | 端口速率 / PCIe 版本 | 400Gb/s NDR / Gen5 x16 | 决定单节点最大吞吐 |
| 交换机 | 端口数 / 背板带宽 / 延迟 | 32×400G / 51.2Tb/s / <130ns | 决定集群规模与拥塞控制能力 |
| 线缆 | 类型 / 长度 / 功耗 | DAC≤5m / AOC≤30m / 光模块≤100m | 影响信号质量与功耗预算 |
| 光模块 | 封装 / 发射功率 / 接收灵敏度 | OSFP / -5~+2dBm / ≤-8dBm | 影响链路误码率与稳定性 |
在完成硬件选型后，下一步需要关注的是交换机子网管理器（Subnet Manager）的配置与调优，这将直接影响整个 IB 网络的路径计算与故障切换效率。