掌握物理层排查在物理层排查中的定位、故障信号与验证顺序。
物理层排查排查时最怕只改现象,没有固定触发条件和复测口径。
本节按观察对象、异常现象、处理动作、验证记录和回滚条件收敛。
物理层是网络通信的基石,Mellanox网卡链路不通的根因往往集中在光模块、线缆或端口电气特性上。本节的排查思路遵循“从外到内、从现象到数据”的原则:先通过端口LED状态缩小故障范围,再借助光模块DDM(Digital Diagnostic Monitoring)信息与线缆类型验证,最终定位到具体故障点。整个过程强调“先看灯,再读数,后换件”的工程顺序,避免盲目更换硬件
上电后第一动作:观察端口LED。Mellanox ConnectX系列网卡端口LED通常为绿色(Link Up)或琥珀色(Activity/Error)。若LED熄灭,优先检查光模块是否插紧、线缆是否弯折;若LED呈琥珀色常亮,则需读取DDM信息判断光功率是否在阈值内
Mellanox网卡端口LED的状态直接反映物理层信号质量。以ConnectX-6 Dx为例,其端口LED逻辑如下:
当LED为琥珀色时,应优先使用mlxlink命令读取端口状态。该命令可输出物理层关键参数,包括链路速度、FEC模式、信号完整性指标(如SNR、BER)。例如:
mlxlink -d /dev/mst/mt4123_pciconf0 -p 1 | grep -E "Link Speed|FEC|Signal"
输出中若Signal Integrity字段显示“Poor”或BER高于1E-12,则表明物理层存在噪声或衰减,需进一步检查光模块DDM数据
DDM(Digital Diagnostic Monitoring)是光模块内置的监控功能,可实时提供发射光功率、接收光功率、温度、电压和偏置电流。当链路不稳定时,DDM数据是判断光模块是否老化、线缆是否损坏或连接器是否污染的关键依据
使用mlxlink的-m参数可读取DDM信息:
mlxlink -d /dev/mst/mt4123_pciconf0 -p 1 -m
输出中重点关注以下字段:
下表为常见光模块DDM参数阈值与故障判断标准:
| 现象 | 可能原因 | 检查位置 | 修复动作 |
|---|---|---|---|
| RX Power | -3 ~ -14 dBm | < -20 dBm 或 > -1 dBm | 线缆过长、连接器污染、对端光模块故障 |
| TX Power | -3 ~ -8 dBm | < -10 dBm 或 > -2 dBm | 光模块老化、激光器损坏 |
| Temperature | 0 ~ 70°C | > 85°C | 散热不良、模块故障 |
| Bias Current | 10 ~ 50 mA | > 80 mA 或 < 5 mA | 激光器退化、驱动电路异常 |
若RX Power低于阈值但TX Power正常,优先检查线缆和连接器;若TX Power也异常,则光模块本身故障概率高。温度或偏置电流异常时,即使光功率正常,也应更换模块以防突发失效