📚 课程目录第3章英伟达IB交换机硬件概览

英伟达IB交换机硬件概览：常见型号、端口类型与线缆兼容性

核心原理：从端口速率到线缆生态的对应关系

英伟达InfiniBand交换机硬件体系的核心，是围绕端口速率代际构建的完整生态。每一代速率标准（QDR、FDR、EDR、HDR、NDR）不仅定义了单端口的数据吞吐能力，还决定了物理层信号编码、连接器形态、线缆材质选择以及可支持的最大传输距离。理解这一对应关系，是进行端口配置和故障排查的前提。

从物理实现上看，IB交换机端口速率由SerDes（串行器/解串器）通道速率与通道数量共同决定。例如，EDR的25Gb/s单通道速率配合4x通道（即4条物理lane）形成100Gb/s端口；而HDR则通过提升单通道至50Gb/s并保持4x通道，实现200Gb/s端口。NDR更进一步，将单通道速率提升至100Gb/s，4x通道即达到400Gb/s。这种代际跃迁直接影响了线缆的屏蔽要求、连接器引脚密度以及信号完整性设计。

在实际部署中，端口速率必须与线缆及对端设备速率匹配。交换机端口通常支持向下兼容（如HDR端口可运行EDR速率），但线缆的物理规格（如QSFP56封装与QSFP28封装）并不完全互通，这要求工程师在规划布线时严格核对线缆型号与端口代际。

  速率代际速查：QDR（40Gb/s，4x 10Gbps）、FDR（56Gb/s，4x 14Gbps）、EDR（100Gb/s，4x 25Gbps）、HDR（200Gb/s，4x 50Gbps）、NDR（400Gb/s，4x 100Gbps）。端口封装依次为QSFP、QSFP+、QSFP28、QSFP56、QSFP112（或OSFP）。

常见型号与端口配置

英伟达IB交换机主要分为两大产品线：Quantum系列（面向高性能计算与AI训练集群）和Spectrum系列（面向以太网与存储融合网络）。在IB领域，Quantum系列是绝对主力，其命名规则通常包含速率代际与端口密度信息。

型号	代际	端口规格	典型场景
Quantum QM8700	HDR	40× 200Gb/s HDR	中型HPC集群，AI训练
Quantum QM8790	HDR	40× 200Gb/s HDR（支持NDR升级）	需要未来升级的HPC
Quantum QM9700	NDR	64× 400Gb/s NDR	大规模AI超算，高性能存储
Quantum QM9790	NDR	64× 400Gb/s NDR（400G/200G自适应）	混合速率集群，平滑过渡
Spectrum SN4600	EDR	32× 100Gb/s EDR	中小型IB网络，存储后端

值得注意的是，Quantum QM8790与QM9790支持多速率自适应，即同一端口可通过配置运行在不同速率（如NDR端口降速至HDR），这为异构集群互联提供了灵活性。但降速运行需要配合正确的线缆与对端配置，否则会出现链路无法建立或频繁重协商的问题。

方法流程：端口模式与线缆选型决策

在实际部署中，工程师需要按照以下流程确定端口配置与线缆选型：

确认交换机型号与端口代际：通过 ibswitches 命令或登录交换机管理界面（如MLNX-OS CLI）查看端口能力。
确定对端设备速率：检查服务器HCA卡或存储控制器的IB端口速率，确保两端速率匹配或可协商。
测量物理距离：根据机柜内布线距离选择线缆类型——≤3米优先DAC铜缆，3~100米使用AOC光缆。
核对线缆规格：查看线缆标签上的速率与封装标识（如“HDR QSFP56”），确保与交换机端口匹配。
配置端口速率（如需降速）：在MLNX-OS中执行端口速率配置命令。

# 查看交换机端口状态与速率
ibswitches
# 输出示例：
# Switch  : 0x0011750a12345678 Quantum QM8790
# Port    : 1  State: Active  PhysicalState: LinkUp
# Rate    : 200Gb/s (HDR)

# 配置端口降速至EDR（100Gb/s）
# 进入交换机CLI
switch (config) # interface ib port 1/1
switch (config interface ib) # speed 100g
switch (config interface ib) # exit

实操提示：在混合速率环境中（如部分节点为HDR、部分为EDR），建议将交换机端口设置为“自适应”模式（auto-negotiation），让链路自动协商到双方支持的最高速率。但需注意，自适应模式可能增加链路建立时间（约2~5秒），在超大规模集群中建议按节点类型分组配置固定速率。

案例场景：HDR交换机连接EDR旧设备

某高校HPC集群升级，采购了一台Quantum QM8700（HDR交换机），但现有计算节点仍使用EDR HCA卡（ConnectX-5）。工程师需要将新交换机与旧节点互联。

问题分析：HDR端口（QSFP56封装）无法直接插入EDR线缆（QSFP28封装），且速率不匹配（200Gb/s vs 100Gb/s）。

解决方案：

方案一：使用HDR转EDR线缆（一端QSFP56，另一端QSFP28），线缆内部自动完成速率适配，交换机端口配置为100Gb/s固定速率。
方案二：使用QSFP56转QSFP28适配器，配合标准EDR线缆使用，但需注意适配器可能引入额外信号损耗，建议长度不超过3米。
方案三：若预算允许，直接更换节点HCA卡为HDR版本，实现全链路HDR。

最终该高校选择了方案一，采购了10根HDR-to-EDR混合线缆，并在交换机上对相应端口执行了 speed 100g 配置。链路建立后，通过 ibstatus 验证速率正常，未出现丢包或重协商现象。

误区与复盘：线缆代际混用的常见陷阱

常见误区一：认为HDR端口“自动兼容”所有旧线缆。实际上，端口速率可以向下协商，但物理封装必须匹配。QSFP28线缆无法插入QSFP56端口，强行插入会损坏连接器。

常见误区二：忽略线缆长度对高速率的影响。在NDR 400Gb/s速率下，无源DAC铜缆超过2米就可能出现误码率升高。某AI集群曾因使用3米DAC线缆连接NDR交换机，导致链路频繁降速至200Gb/s，最终更换为AOC光缆后恢复正常。

常见误区三：混合速率配置时未考虑散热与功耗。HDR端口运行在EDR速率时，功耗并不会按比例下降，交换机整体散热设计仍按满配HDR计算。在密集部署场景中，需监控交换机温度，避免因局部过热触发端口保护机制。

复盘要点：在规划IB网络时，应建立端口-线缆-对端设备三者的匹配清单，并在施工前逐项核对。对于多代际共存的场景，建议在交换机端口贴上速率标签，并在布线表中明确标注线缆类型与支持速率，避免后续运维人员误操作。