掌握Lx网卡安装配置资料包在硬件安装中的定位、故障信号与验证顺序。
硬件安装容易卡在环境、参数或执行顺序不一致。
本节把Lx网卡安装配置资料包的准备动作、执行命令和状态验证分开检查。
安装 ConnectX-6 Lx 网卡的第一步并非插卡,而是确认服务器主板上哪个 PCIe 插槽能提供足够的带宽与正确的物理接口。该网卡采用 PCIe 3.0/4.0 x8 接口,向下兼容 x16 插槽,但若插入仅支持 x4 电气连接的槽位,网卡将降速运行,无法发挥 25/50GbE 线速转发能力
查阅服务器主板手册,定位“PCIe 插槽带宽矩阵”。优先选择直连 CPU(而非 PCH)的 x8 或 x16 插槽,且电气通道数不低于 x8。对于双路服务器,建议将 ConnectX-6 Lx 安装在 NUMA 节点 0 的槽位,以减少跨 NUMA 访问延迟
物理挡板(Bracket)是另一个常被忽略的约束。ConnectX-6 Lx 网卡出厂默认配备标准高度挡板(Low 分类 与 Full Height 可选)。若服务器为 1U 机箱,必须使用 Low 分类 挡板;若为 2U 及以上,则使用 Full Height 挡板。安装前应确认挡板类型与机箱槽位开口一致,否则网卡端口会被挡板遮挡,无法插入光模块或 DAC 线缆
不要将 x8 网卡插入仅支持 x1 或 x4 电气连接的存储专用槽位(如 M.2 转接卡槽)。这类槽位通常标记为“Storage Only”或“SATA Only”,无法识别标准网卡。正确做法是使用标记为“PCIe 3.0 x8”或“PCIe 4.0 x16(x8 模式)”的通用扩展槽
ConnectX-6 Lx 网卡的热设计功耗(TDP)约为 8-12W,虽低于高端 GPU,但若机箱内气流受阻,芯片结温仍可能超过 105°C 的降频阈值。实际部署中,散热故障常表现为端口频繁链路抖动或吞吐量骤降,而非直接关机
散热约束的核心在于两点:进风方向与相邻槽位间距。该网卡散热片设计为前后吹风(Front-to-Back),即气流从网卡前挡板流入,从尾部支架流出。若机箱风扇为左右风道(Side-to-Side),则需加装导流罩。此外,网卡上下相邻槽位若被高功耗设备(如 GPU、NVMe SSD)占据,会形成热岛效应,导致网卡进气温度超过 55°C 的工作上限
部分工程师认为“网卡功耗低,随便插个槽就行”。实际案例中,某 2U 服务器将 ConnectX-6 Lx 插在 GPU 正下方的槽位,GPU 排出的热风直接加热网卡进气口,导致网卡在 30 分钟后触发过热保护,链路反复 up/down。正确做法是保留至少 1 个空槽位作为散热缓冲区,或使用 PCIe 延长线将网卡移至独立风道区域
以下两张表格可作为现场安装的快速参考。第一张为检查清单,用于逐项确认物理安装条件;第二张为参数表,记录散热相关阈值与验证方法
| 检查项 | 标准 | 是否通过 | 常见遗漏 |
|---|---|---|---|
| PCIe 电气通道数 | ≥ x8(直连 CPU) | □ 是 □ 否 | 误用 PCH 提供的 x4 槽位 |
| 挡板类型 | Low 分类(1U)/ Full Height(≥2U) | □ 是 □ 否 | 未更换出厂默认挡板 |
| 相邻槽位间距 | 至少保留 1 个空槽位(或间距 ≥ 20mm) | □ 是 □ 否 | 紧邻高功耗 GPU 或 NVMe 盘 |
| 进风温度 | ≤ 55°C(持续工作) | □ 是 □ 否 | 未测量机箱内部进气点温度 |
某数据中心部署 10 台双路服务器用于 AI 训练集群,每台需安装 2 块 ConnectX-6 Lx 网卡。工程师最初将网卡插入 PCH 提供的 x4 槽位,结果训练通信吞吐量仅为预期的 40%。排查后发现 PCIe 链路宽度为 x4,速率被限制。重新规划至 CPU 直连的 x16 槽位(实际运行 x8),并确保每块网卡上下各空一个槽位,最终吞吐量恢复至线速 50GbE。此案例验证了槽位选择与散热间距对性能的决定性影响