2. 第2章
02 硬件安装：PCIe插槽识别与25G光模块兼容性检查
掌握硬件安装在硬件安装中的定位、故障信号与验证顺序。
排障先看这三点
- 先核对硬件安装的前置条件、异常信号和验收结果
- 再用伪代码把实现动作固定下来
- 最后用稳定性与可观测性验证结果是否可复现
配置证据
硬件安装常见问题来自默认值、路径、版本或权限没有对齐。
本节把硬件安装相关配置拆成参数来源、生效条件和回滚检查。
物理安装前的关键判断：PCIe 插槽识别与光模块兼容性基线
在将 Mellanox ConnectX-4 Lx 双口 25G 光口网卡插入服务器之前，必须完成两项前置检查：确认物理插槽的电气与机械兼容性，以及验证待安装的 25G 光模块（SFP28）是否被网卡固件支持。跳过这两步直接安装，极易导致网卡无法被系统识别、链路协商失败甚至硬件损坏。本节将围绕“插槽匹配”与“模块固件兼容性”两个核心判断点，给出可复用的检查清单与验证方法
在断电状态下，先目检 PCIe 插槽物理形态（x8 / x16）与网卡金手指缺口对齐情况，再核对主板 BIOS 中 PCIe 链路版本与 Lane 分配
PCIe 插槽识别：从物理形态到电气链路
硬件安装的验收口径
Mellanox 双口 25G 网卡通常采用 PCIe 3.0 x8 接口。物理上，它可插入 x8 或 x16 插槽，但若插入 x4 插槽（常见于某些低端主板或 Riser 卡），网卡虽能物理固定，但带宽将被限制为 PCIe 3.0 x4（约 4 GB/s），无法满足双口 25G 线速转发（双口双向约 12.5 GB/s）
判断步骤如下：
- 物理形态检查：查看主板或 Riser 卡上插槽的金属引脚长度。x8 插槽引脚长度约为 x16 的一半，且末端有隔断。网卡金手指为 x8 设计，可插入 x16 插槽的后半段（即从挡板侧数起的第 1-第 8 个 Lane 位置）
- 电气链路确认：登录服务器 BMC 或 BIOS，查看 PCIe 设备列表。找到网卡对应的 BDF（Bus:Device.Function），确认其链路宽度（Link Width）为 x8，链路速度（Link Speed）为 8.0 GT/s（对应 PCIe 3.0）。若显示 x4 或 5.0 GT/s，说明插槽或 Riser 卡配置不达标
真实项目场景
某数据中心在 Dell R740 服务器上安装该网卡时，误将网卡插入 Riser 卡中间的 x8 插槽（实际仅连接 x4 信号）。使用 lspci -vvv -s 03:00.0 查看，发现 LnkCap: Port #0, Speed 8GT/s, Width x4。更换至 Riser 卡第一个 x16 插槽后，链路宽度恢复为 x8，双口 25G 吞吐测试达标
25G 光模块兼容性检查：固件 Vendor 白名单机制
Mellanox 网卡对 SFP28 光模块有严格的固件兼容性校验。网卡固件内部维护一张 Vendor OUI（Organizationally Unique Identifier）白名单，只有模块的 EEPROM 中写入的 Vendor 信息与固件白名单匹配，网卡才会允许该模块发光并使链路 UP。使用非兼容模块（如某些第三方通用模块）会导致 ethtool 显示 Link detected: no，即使光纤和交换机端口均正常
不要仅凭模块物理接口相同就认为兼容。必须通过 mlxconfig 或 ethtool -m 读取模块 EEPROM 中的 Vendor Name 与 Part Number，与 Mellanox 官方兼容性列表比对
验证步骤与命令片段
在操作系统下（以 Ubuntu 22.04 为例），使用以下命令检查已安装模块的兼容性：
# 查看网卡端口上的模块信息
ethtool -m enp3s0f0 | grep -E "Vendor|Part Number|Revision"
# 若模块被识别为兼容，输出应包含类似：
# Vendor: Mellanox
# Part Number: MCP2M00-A01x
# 若模块不被识别，输出可能为：
# Vendor: OEM
# Part Number: SFP-25G-SR
# 此时需检查网卡固件是否支持该 OEM 模块
# 使用 mlxconfig 查询当前模块支持策略
mlxconfig -d /dev/mst/mt4119_pciconf0 query | grep -i "MODULE"阅读这段代码时，重点看硬件安装的伪代码，以及它如何用稳定性与可观测性证明结果可复测。
若发现模块不被支持，有两种修复路径：一是更换为 Mellanox 认证模块（如 MCP2M00 系列）；二是通过 mlxconfig 将 MODULE_SUPPORT 策略从 STRICT 改为 PERMISSIVE，但此操作会降低链路稳定性，仅建议在测试环境使用