3、交换机硬件认知：常见InfiniBand交换机型号、端口类型、线缆与光模块选型
3.1 核心原理：InfiniBand交换机的硬件角色与端口体系
InfiniBand交换机在HPC与AI集群中承担着无阻塞低延迟转发的核心角色。与以太网交换机不同，IB交换机通常采用Cut-Through转发模式，数据包在接收端尚未完整存入缓存时即开始向目的端口转发，这使得端到端延迟可低至亚微秒级。理解IB交换机的硬件，首先需要建立三个基本概念：端口速率、端口形态与线缆/光模块类型。三者相互约束，共同决定一台交换机的实际可用带宽与拓扑连接方式。
IB端口速率以“速率代数+通道宽度”表示，例如EDR（Enhanced Data Rate）为25Gb/s每通道，HDR（High Data Rate）为50Gb/s每通道，NDR（Next Data Rate）为100Gb/s每通道。通道宽度常见为1x或4x，因此HDR单端口（4x）即为200Gb/s。交换机端口通常以4x形态呈现，而1x形态多用于存储或低速设备连接。端口物理形态上，QSFP（Quad Small Form-factor Pluggable）是当前主流，QSFP56用于HDR，QSFP112用于NDR，而OSFP（Octal Small Form-factor Pluggable）则出现在NDR 400Gb/s及以上高端型号中。
线缆与光模块的选型本质上是距离、功耗、成本与可靠性的权衡。无源铜缆（DAC）适合1~3米短距离机柜内互联，功耗为零且成本最低；有源铜缆（ACC）可延伸至5米左右；多模光模块（SR）配合MPO/MTP光纤支持至100米；单模光模块（DR/LR）则覆盖500米至数公里。选型错误最常见的后果是端口无法Link UP或误码率过高导致重传风暴。
3.2 常见交换机型号与端口规格
目前主流IB交换机主要来自NVIDIA（原Mellanox）与Juniper（已退出IB市场，存量设备仍在使用）。NVIDIA Quantum系列面向HDR/NDR，Quantum-2 QM8790为40端口NDR 400Gb/s，或64端口HDR 200Gb/s（通过拆分线缆实现）；Quantum QM8700为40端口HDR 200Gb/s。上一代EDR时代，代表性型号为SB7800（36端口EDR 100Gb/s）与SB7890（36端口EDR，支持子网管理）。
在硬件形态上，IB交换机分为固定端口交换机与模块化框式交换机。固定端口交换机（如QM8790）端口密度高、部署简单，适合叶脊拓扑中的叶节点；框式交换机（如MQ8700系列）支持线卡更换与端口扩展，多用于核心脊层。实际选型时需关注以下关键参数：
| 参数项 | 说明 | 选型建议 |
|---|---|---|
| 端口速率代数 | EDR(100G)/HDR(200G)/NDR(400G) | 新集群优先HDR或NDR，考虑未来扩容 |
| 端口形态 | QSFP28/QSFP56/QSFP112/OSFP | 与线缆/光模块接口一致 |
| 子网管理能力 | 是否内置SM（Subnet Manager） | 小型集群可用内置SM，大型需独立SM |
| 散热方向 | 前后/后前风道 | 匹配机房气流组织 |
| 电源冗余 | 1+1或2+2冗余 | 必须支持热插拔与双路供电 |
3.3 线缆与光模块选型方法流程
选型流程应遵循“先定距离→再定速率→后定介质”的步骤，避免直接凭经验选择。具体方法如下：
- 测量物理链路距离：使用测距仪或机房图纸确认交换机端口到对端设备（服务器网卡、存储控制器或另一台交换机）的实际走线长度，预留10%~20%余量。
- 确认端口速率与代数：查看交换机端口丝印或数据手册，确认是HDR还是NDR，以及是否支持拆分为2x或1x模式。
- 选择介质类型：根据距离对照下表选择DAC、ACC、AOC（有源光缆）或可插拔光模块。
- 核对连接器类型：DAC/ACC通常为QSFP直连，光模块需确认MPO/MTP接口的芯数（8芯或16芯）以及光纤极性（A/B/C）。
- 验证兼容性：查询交换机厂商的兼容列表（如NVIDIA的InfiniBand Cable Matrix），确保线缆/模块的固件版本与交换机OS匹配。
ibstat 或 ibswitches 命令可查看实际激活速率。
3.4 典型场景案例：40节点HDR集群的线缆规划
某高校AI实验室搭建40节点GPU集群，采用两层叶脊拓扑。每台服务器配置1张ConnectX-6 HDR 200Gb/s网卡，叶交换机选用2台QM8790（40端口HDR），脊层选用1台QM8790作为核心。服务器与叶交换机位于同一机柜（距离≤2米），叶交换机与脊交换机位于相邻机柜（距离约5米）。
根据选型流程：
- 服务器→叶交换机：40条HDR DAC线缆（QSFP56，长度1.5米），成本最低且功耗为零。
- 叶交换机→脊交换机：4条HDR ACC线缆（长度5米），因距离超过3米DAC极限，ACC比光模块更经济且无需清洁光纤。
- 预留4个脊交换机端口用于未来扩展，暂不安装线缆。
部署后使用 ibdiagnet 检查链路，所有端口均以200Gb/s激活，无降速或误码。该方案比全光模块方案节省约60%线缆成本，且故障率更低。
3.5 常见误区与复盘
复盘案例：某生产集群升级NDR时，采购了第三方QSFP112 DAC线缆，上架后端口状态为“Link Down”。排查过程：先检查物理连接无误，再查看 dmesg 日志发现“Unsupported cable type”错误。最终确认该线缆EEPROM未写入NDR速率代码，仅支持HDR。更换为NVIDIA认证线缆后恢复正常。此案例说明：高速率场景下，认证线缆的兼容性验证不可跳过，第三方线缆虽价格低，但固件兼容性风险高。
硬件认知是IB网络运维的基础。只有准确理解端口速率、线缆介质与光模块的匹配关系，才能在配置与故障恢复时快速定位物理层问题。建议运维团队建立线缆台账，记录每根线缆的型号、长度、连接位置与速率，便于后续排障与扩容。