📚 课程目录第3章 IB网卡硬件与驱动

3. IB网卡硬件与驱动：主流IB网卡（Mellanox/ConnectX系列）介绍、驱动安装与固件更新

3.1 主流IB网卡硬件概览

在构建多GPU集群时，InfiniBand网卡是决定节点间通信带宽与延迟的核心硬件。目前市场上几乎被NVIDIA（原Mellanox）的ConnectX系列垄断，其产品线覆盖从入门级到旗舰级的完整梯度。理解不同型号的定位与差异，是选型与后续调优的基础。

型号	接口速率	PCIe接口	端口数	典型应用场景
ConnectX-5	EDR 100Gb/s	PCIe 3.0 x16	1/2	中小规模集群，性价比高
ConnectX-6	HDR 200Gb/s	PCIe 4.0 x16	1/2	主流训练集群，支持HDR
ConnectX-6 Dx	HDR 200Gb/s	PCIe 4.0 x16	2	云与存储场景，增强安全特性
ConnectX-7	NDR 400Gb/s	PCIe 5.0 x16	1/2	大规模GPU集群，超大规模训练
ConnectX-8	NDR 400Gb/s+	PCIe 5.0 x16	2	面向下一代GPU（如B200）

除了速率差异，还需关注几个关键硬件特性：端口数（单端口用于计算网络，双端口可同时连接计算与存储网络）、PCIe带宽匹配（例如ConnectX-7需要PCIe 5.0 x16才能跑满400Gb/s）、以及板载内存大小（影响拥塞控制与缓存能力）。对于多GPU集群，建议优先选择双端口型号，以便后续扩展存储网络或实现网络冗余。

3.2 驱动安装：MLNX_OFED与系统兼容性

IB网卡驱动并非简单的内核模块，而是一整套协议栈与工具集。NVIDIA提供两种驱动形态：MLNX_OFED（完整发行版）和inbox驱动（内核自带）。对于生产环境的多GPU集群，强烈推荐使用MLNX_OFED，因为它包含完整的ibverbs、rdma-core、opensm（子网管理器）以及性能调优工具。

安装前必须确认内核版本与发行版匹配。以下为标准的安装流程：

# 1. 下载对应系统版本的MLNX_OFED
wget https://www.mellanox.com/downloads/ofed/MLNX_OFED-5.8-1.0.1.1/MLNX_OFED_LINUX-5.8-1.0.1.1-rhel9.1-x86_64.tgz
tar xzf MLNX_OFED_LINUX-5.8-1.0.1.1-rhel9.1-x86_64.tgz
cd MLNX_OFED_LINUX-5.8-1.0.1.1-rhel9.1-x86_64

# 2. 运行安装脚本（建议使用 --without-32bit 减少不必要的组件）
sudo ./mlnxofedinstall --without-32bit --force

# 3. 验证驱动加载
ibstat | head -20
ibv_devinfo

# 4. 确认端口状态为 Active
ibstatus

关键验证点：安装完成后，执行ibstat应看到State: Active、Physical state: LinkUp。如果显示Down或Init，说明链路协商失败或子网管理器未运行。

3.3 固件更新：确保硬件处于最佳状态

固件（Firmware）是网卡内部运行的低层代码，控制着链路训练、错误检测、拥塞控制等硬件行为。即使驱动版本正确，固件过旧也可能导致性能不达标或出现间歇性连接问题。固件更新需使用Mellanox专用的MFT（Mellanox Firmware Tools）工具集。

固件更新流程分为三个步骤：查询当前版本 → 获取新固件 → 烧录并重启。

# 1. 安装MFT工具
wget https://www.mellanox.com/downloads/MFT/mft-4.23.0-105-x86_64-rpm.tgz
tar xzf mft-4.23.0-105-x86_64-rpm.tgz
cd mft-4.23.0-105-x86_64-rpm
sudo ./install.sh

# 2. 查询当前固件版本
mst start
mst status
flint -d /dev/mst/mt4123_pciconf0 q

# 3. 烧录新固件（固件文件需从NVIDIA官网获取）
flint -d /dev/mst/mt4123_pciconf0 -i fw-ConnectX7-rel-xx_xx_xx-xxx.bin burn

# 4. 重启服务器使固件生效
sudo reboot

固件更新风险提示：固件烧录过程中绝对禁止断电或重启系统，否则可能导致网卡变砖。建议在维护窗口执行，并确保服务器连接UPS。烧录完成后，使用flint -d /dev/mst/mt4123_pciconf0 q再次确认固件版本已更新。

3.4 驱动与固件版本匹配策略

驱动与固件之间存在版本对应关系。NVIDIA官方发布兼容性矩阵，但实际运维中建议遵循以下原则：

优先使用同批次版本：MLNX_OFED版本号与固件版本号通常同步发布，例如MLNX_OFED-5.8对应固件版本xx.xx.xx，配套使用最稳定。
不要盲目追新：新固件可能引入新的行为变化，除非有明确bug修复或性能提升需求，否则保持稳定版本。
记录基线版本：在集群初始化时，记录每台节点的驱动与固件版本，便于后续排障对比。

3.5 常见误区与复盘

误区一：忽略PCIe链路协商状态。

某集群使用ConnectX-6 HDR卡，但实际吞吐量只有100Gb/s。排查发现PCIe链路协商在PCIe 3.0 x8而非PCIe 4.0 x16。原因是服务器BIOS中PCIe插槽被设置为x8模式。使用lspci -vvv | grep LnkSta可快速确认链路状态。

误区二：驱动安装后未重启直接使用。

MLNX_OFED安装脚本虽然会加载模块，但部分内核参数（如mlx5_core的num_vfs）需要重启后生效。某管理员安装后立即配置SR-IOV，发现VF创建失败，重启后问题消失。

误区三：固件更新后未检查子网管理器兼容性。

升级ConnectX-7固件后，opensm版本过旧导致子网无法正常引导。建议固件升级后同步检查opensm版本，必要时一并升级。

复盘总结：IB网卡的硬件与驱动管理是集群稳定运行的基础。建议在集群初始化阶段就建立版本基线文档，记录每台节点的网卡型号、固件版本、驱动版本、PCIe链路状态。后续每次变更前先备份当前配置，变更后立即验证ibstat与ibv_devinfo输出。对于大规模集群，可编写自动化脚本批量检查所有节点的固件与驱动一致性，避免因个别节点版本漂移导致难以排查的通信问题。