3. IB网络硬件
核心原理：IB硬件体系的分层协作
InfiniBand网络并非简单的“高速网卡+交换机”组合，而是一套完整的RDMA（远程直接内存访问）硬件体系。理解其硬件选型，首先要建立分层视角：HCA（Host Channel Adapter，主机通道适配器）负责将服务器内存中的数据直接封装为IB报文；IB交换机负责在子网内高速转发这些报文；而线缆与光模块则决定了物理链路的速率上限与传输距离。三者必须严格匹配，任何一层的短板都会成为整个集群的性能瓶颈。
IB网络的核心优势在于其无损传输与流控机制。与以太网“尽力而为”的转发模式不同，IB交换机采用基于信用的流控（Credit-Based Flow Control），从链路层保证数据包不丢失。这意味着选型时不能只看单端口速率，更要关注交换机是否支持完整的自适应路由（AR）、拥塞控制（CC）等高级特性，这些功能直接决定了大规模GPU集群在All-to-All通信模式下的实际吞吐表现。
方法流程：从需求到型号的四步选型法
面对市场上纷繁的硬件型号，建议遵循以下流程进行选型，避免“唯速率论”的陷阱：
- 第一步：确定网络规模与拓扑。计算GPU节点总数，确定采用两层（Leaf-Spine）还是三层架构。例如，256个GPU节点若采用NDR 400G，两层QM9700交换机即可构建无阻塞网络。
- 第二步：反推HCA卡规格。HCA卡的PCIe通道数必须与GPU间通信带宽匹配。对于H100/H200 GPU，建议选择PCIe 5.0 x16接口的CX-7系列；若服务器仅有PCIe 4.0插槽，则需考虑带宽折损。
- 第三步：根据距离选择线缆类型。机柜内（≤3米）优先选用DAC高速铜缆，成本低、功耗小；跨机柜（3~100米）选用多模光模块+OM4光纤；超100米必须使用单模光模块+OS2光纤。
- 第四步：验证交换机端口与光模块兼容性。查看NVIDIA的硬件兼容性列表（HCL），确认光模块的厂商、型号、固件版本是否在交换机支持列表中，避免出现链路无法UP的问题。
案例：某千卡集群的硬件选型实战
某互联网公司建设1024张A100 GPU的训练集群，网络方案采用两层Spine-Leaf架构。实际选型过程如下：
- HCA卡选型：选用Mellanox CX-6 DX双端口HDR100（100Gbps）HCA卡，每张卡占用PCIe 4.0 x16通道，满足A100的通信需求。
- 交换机选型：Spine层部署8台QM8790（40端口HDR），Leaf层部署32台QM8790，每台Leaf连接20台GPU服务器（双端口冗余），上行至Spine采用40×200G链路。
- 线缆方案：服务器到Leaf交换机全部采用3米DAC铜缆；Leaf到Spine因距离约15米，选用多模光模块+OM4光纤。
- 光模块选型：统一采购某国产兼容厂商的200G QSFP56多模光模块，在测试环境中验证了与QM8790的兼容性，并确认DDM（数字诊断监控）功能正常。
该方案最终实现了95%以上的线性度扩展，在AllReduce测试中，1024卡的整体聚合带宽达到理论值的92%，验证了选型方案的合理性。
误区与复盘：选型中的常见陷阱
此外，还需注意线缆弯曲半径与标签管理。在部署中，曾有因DAC铜缆弯曲半径过小导致信号完整性劣化，表现为间歇性丢包。建议所有线缆弯曲半径不小于线径的10倍，并在两端使用统一命名规则（如GPU01-P1-Spine2-P5）进行物理标签管理，便于后续排障。
| 硬件层级 | 关键参数 | 推荐配置（NDR 400G） | 注意事项 |
|---|---|---|---|
| HCA卡 | 接口速率、PCIe代际 | CX-7，PCIe 5.0 x16 | 确认服务器PCIe插槽物理长度 |
| 交换机 | 端口数、散热方式 | QM9700 64端口 | 支持自适应路由与拥塞控制 |
| 线缆 | 传输距离、材质 | ≤3m DAC；≤100m OM4 | DAC线缆不可过度弯折 |
| 光模块 | 波长、功耗、DDM | 850nm多模，≤1.2W | 必须验证HCL兼容性 |
最后，建议在批量采购前搭建最小验证环境：使用2台服务器、1台交换机、目标线缆与光模块，运行ib_write_bw测试实际带宽与延迟。只有当测试结果达到理论值的95%以上时，才可进行大规模采购部署。这一步骤虽然耗时，但能有效规避因硬件兼容性导致的批量返工风险。