3. NVIDIA Quantum交换机硬件安装与初始化

NVIDIA Quantum系列交换机(如QM8700、QM9700)是InfiniBand无损网络的核心节点,其硬件安装质量直接决定后续RDMA带宽、时延与链路稳定性。本节围绕开箱检查、机架安装、电源与散热规划、Console带外管理连接、首次上电与固件版本确认五个环节,给出可执行的工程做法与判断依据。

开箱检查:先核对,再上架

Quantum交换机通常为1U或2U机架式设备,整机重量可达12~18kg,搬运时须两人协作或使用升降台,避免单侧受力导致面板变形。开箱后建议在防静电垫上完成核对,重点确认三类信息:

  • 型号与端口配置:例如QM8700为40端口HDR 200Gb/s,QM9700为64端口NDR 400Gb/s,端口数、速率与采购单一致。
  • 随机附件:电源线(按交流/直流版本区分)、机架安装耳、螺丝包、Console线(RJ45转DB9或USB转RJ45)、导轨套件、保修卡。
  • 外观与标签:检查面板无划痕、端口无堵塞、风扇模块与电源模块插槽无变形;记录机身序列号(SN)与MAC/管理口标签,便于后续资产登记与固件比对。
若发现端口防尘塞缺失、风扇模块松动或电源模块指示灯异常,应在未上电前联系供应商,避免上电后责任界定困难。

机架安装:承重、导轨与前后间距

Quantum交换机深度通常在600~800mm,机柜深度建议不小于1000mm,以保证前后走线与散热空间。安装顺序建议为:先固定导轨,再将交换机沿导轨推入,最后锁紧前面板螺丝。若使用四柱机柜,需同时安装前后导轨;若为两柱机柜,必须使用托盘或支撑架,禁止仅靠前面板螺丝悬空承重。

安装位置应避开机柜顶部高温区,建议与服务器之间保留至少1U空隙,或按冷热通道规划将交换机置于冷通道侧。对于多台Quantum堆叠场景,建议相邻放置,减少线缆长度与信号衰减。

电源与散热规划:冗余与风道

Quantum交换机通常配置双电源模块,支持1+1冗余。以QM9700为例,单电源额定功率约1500W,双电源同时工作,任一路故障时另一路可独立承载。规划时需注意:

  • 供电回路:两路电源应接入不同PDU或不同UPS,避免同一断路器故障导致双路同时断电。
  • 线缆规格:按电源模块标签选择C19/C20或C13/C14接口,线径满足额定电流,避免使用转接头长期运行。
  • 风道方向:Quantum支持前后风道(端口侧进风、电源侧出风)或后前风道,采购时需与机柜气流方向一致。若装反,进风口温度可能升高10℃以上,触发降频或关机。

散热方面,单台交换机风量可达300~500 CFM,机柜内需保证足够冷风供应。建议在机柜前门开孔率不低于70%,并在交换机进风口附近预留至少5cm空间。若环境温度超过35℃,应提前评估空调制冷量,必要时增加机柜风扇单元。

Quantum交换机安装与初始化关键路径 开箱检查 型号/端口数核对 附件与SN记录 外观/风扇/电源检查 机架安装 导轨固定/推入 前后螺丝锁紧 预留1U散热间隙 电源与散热 双路PDU/UPS 风道方向匹配 进风温度≤35℃ Console连接 RJ45/USB转串口 115200-8-N-1 管理口IP规划 首次上电与固件版本确认 上电顺序:先接PDU → 观察电源/风扇LED → Console登录 执行 show version / show system / show inventory 比对MLNX-OS/ONYX版本与NVIDIA推荐基线 判断依据 电源/风扇LED绿色常亮 · 固件版本与基线一致 · 管理口可ping通 · 无温度告警 若版本落后,先升级固件再接入生产网络

Console带外管理连接

首次上电前,建议先建立Console连接,以便观察启动日志并完成初始配置。Quantum交换机前面板通常提供RJ45 Console口,部分型号使用USB Type-C或Micro-USB。连接方式如下:

# Linux/macOS 示例
ls /dev/ttyUSB*          # 确认USB转串口设备
screen /dev/ttyUSB0 115200

# Windows 示例
# 使用PuTTY,选择Serial,COMx,115200,8,N,1,无流控

串口参数统一为115200-8-N-1,无硬件流控。登录后默认无用户名密码,或使用admin/admin(以实际固件为准)。建议立即配置管理口IP,例如:

# 进入配置模式(以MLNX-OS为例)
configure terminal
interface mgmt0
 ip address 10.10.10.20/24
 no shutdown
exit
ip route default 10.10.10.1
exit
write memory

配置完成后,用另一台管理终端ping 10.10.10.20,确认带外管理可达。若不通,检查网线、VLAN、管理口LED状态,以及默认网关是否正确。

首次上电与固件版本确认

上电顺序建议:先连接PDU,再打开电源模块开关,观察前面板LED。正常状态下,电源LED绿色常亮,风扇LED绿色常亮,系统LED在启动阶段闪烁,约2~5分钟后转为常亮。若电源LED橙色或红色,立即断电检查电源模块与PDU。

启动完成后,通过Console或SSH登录,执行以下命令确认固件与硬件状态:

show version
show system
show inventory
show environment
show interfaces ib status

重点关注:MLNX-OS或ONYX版本号、交换机型号、序列号、电源与风扇状态、IB端口链路速率。若固件版本低于NVIDIA推荐基线(例如QM9700建议使用MLNX-OS 3.11.x及以上),应先升级固件再接入生产网络。升级前备份配置,升级后再次执行show version确认版本生效。

固件升级过程中禁止断电或重启,否则可能导致交换机无法启动。建议在维护窗口内操作,并提前下载对应型号的固件包。

安装检查清单(示例)

检查项判断标准记录
型号与端口数与采购单一致QM9700 / 64端口
机架固定前后螺丝锁紧,无晃动已锁紧
电源冗余双路PDU,LED绿色PDU-A/PDU-B
风道方向与机柜气流一致前后风道
Console连接115200-8-N-1可登录已登录
管理口IP可ping通10.10.10.20
固件版本≥推荐基线3.11.2000
环境告警无温度/风扇告警正常