3. NVIDIA Quantum交换机硬件安装与初始化
NVIDIA Quantum系列交换机(如QM8700、QM9700)是InfiniBand无损网络的核心节点,其硬件安装质量直接决定后续RDMA带宽、时延与链路稳定性。本节围绕开箱检查、机架安装、电源与散热规划、Console带外管理连接、首次上电与固件版本确认五个环节,给出可执行的工程做法与判断依据。
开箱检查:先核对,再上架
Quantum交换机通常为1U或2U机架式设备,整机重量可达12~18kg,搬运时须两人协作或使用升降台,避免单侧受力导致面板变形。开箱后建议在防静电垫上完成核对,重点确认三类信息:
- 型号与端口配置:例如QM8700为40端口HDR 200Gb/s,QM9700为64端口NDR 400Gb/s,端口数、速率与采购单一致。
- 随机附件:电源线(按交流/直流版本区分)、机架安装耳、螺丝包、Console线(RJ45转DB9或USB转RJ45)、导轨套件、保修卡。
- 外观与标签:检查面板无划痕、端口无堵塞、风扇模块与电源模块插槽无变形;记录机身序列号(SN)与MAC/管理口标签,便于后续资产登记与固件比对。
机架安装:承重、导轨与前后间距
Quantum交换机深度通常在600~800mm,机柜深度建议不小于1000mm,以保证前后走线与散热空间。安装顺序建议为:先固定导轨,再将交换机沿导轨推入,最后锁紧前面板螺丝。若使用四柱机柜,需同时安装前后导轨;若为两柱机柜,必须使用托盘或支撑架,禁止仅靠前面板螺丝悬空承重。
安装位置应避开机柜顶部高温区,建议与服务器之间保留至少1U空隙,或按冷热通道规划将交换机置于冷通道侧。对于多台Quantum堆叠场景,建议相邻放置,减少线缆长度与信号衰减。
电源与散热规划:冗余与风道
Quantum交换机通常配置双电源模块,支持1+1冗余。以QM9700为例,单电源额定功率约1500W,双电源同时工作,任一路故障时另一路可独立承载。规划时需注意:
- 供电回路:两路电源应接入不同PDU或不同UPS,避免同一断路器故障导致双路同时断电。
- 线缆规格:按电源模块标签选择C19/C20或C13/C14接口,线径满足额定电流,避免使用转接头长期运行。
- 风道方向:Quantum支持前后风道(端口侧进风、电源侧出风)或后前风道,采购时需与机柜气流方向一致。若装反,进风口温度可能升高10℃以上,触发降频或关机。
散热方面,单台交换机风量可达300~500 CFM,机柜内需保证足够冷风供应。建议在机柜前门开孔率不低于70%,并在交换机进风口附近预留至少5cm空间。若环境温度超过35℃,应提前评估空调制冷量,必要时增加机柜风扇单元。
Console带外管理连接
首次上电前,建议先建立Console连接,以便观察启动日志并完成初始配置。Quantum交换机前面板通常提供RJ45 Console口,部分型号使用USB Type-C或Micro-USB。连接方式如下:
# Linux/macOS 示例
ls /dev/ttyUSB* # 确认USB转串口设备
screen /dev/ttyUSB0 115200
# Windows 示例
# 使用PuTTY,选择Serial,COMx,115200,8,N,1,无流控
串口参数统一为115200-8-N-1,无硬件流控。登录后默认无用户名密码,或使用admin/admin(以实际固件为准)。建议立即配置管理口IP,例如:
# 进入配置模式(以MLNX-OS为例)
configure terminal
interface mgmt0
ip address 10.10.10.20/24
no shutdown
exit
ip route default 10.10.10.1
exit
write memory
配置完成后,用另一台管理终端ping 10.10.10.20,确认带外管理可达。若不通,检查网线、VLAN、管理口LED状态,以及默认网关是否正确。
首次上电与固件版本确认
上电顺序建议:先连接PDU,再打开电源模块开关,观察前面板LED。正常状态下,电源LED绿色常亮,风扇LED绿色常亮,系统LED在启动阶段闪烁,约2~5分钟后转为常亮。若电源LED橙色或红色,立即断电检查电源模块与PDU。
启动完成后,通过Console或SSH登录,执行以下命令确认固件与硬件状态:
show version
show system
show inventory
show environment
show interfaces ib status
重点关注:MLNX-OS或ONYX版本号、交换机型号、序列号、电源与风扇状态、IB端口链路速率。若固件版本低于NVIDIA推荐基线(例如QM9700建议使用MLNX-OS 3.11.x及以上),应先升级固件再接入生产网络。升级前备份配置,升级后再次执行show version确认版本生效。
安装检查清单(示例)
| 检查项 | 判断标准 | 记录 |
|---|---|---|
| 型号与端口数 | 与采购单一致 | QM9700 / 64端口 |
| 机架固定 | 前后螺丝锁紧,无晃动 | 已锁紧 |
| 电源冗余 | 双路PDU,LED绿色 | PDU-A/PDU-B |
| 风道方向 | 与机柜气流一致 | 前后风道 |
| Console连接 | 115200-8-N-1可登录 | 已登录 |
| 管理口IP | 可ping通 | 10.10.10.20 |
| 固件版本 | ≥推荐基线 | 3.11.2000 |
| 环境告警 | 无温度/风扇告警 | 正常 |