📚 课程目录第4章利用BMC日志进行故障定位

4. 利用BMC日志进行故障定位

当一台Supermicro服务器出现异常时，最先能提供客观证据的往往不是操作系统，而是BMC。BMC独立于主机运行，即使CPU宕机、系统无法启动，它仍能持续记录硬件事件。因此，掌握BMC日志的解读方法，是硬件故障定位的核心技能。本节围绕IPMI SEL日志、传感器读数与事件类型三条线索，说明如何从日志快速判断硬件异常。

一、三类日志的分工

Supermicro BMC通常提供三类可交叉验证的信息：IPMI SEL（System Event Log，系统事件日志）记录离散事件，如电源故障、内存可纠正错误、风扇失效、温度越限；传感器读数（Sensor Reading）给出当前或历史数值，如温度、电压、风扇转速、功耗；事件类型（Event Type）则决定这条记录是“状态变化”“阈值越限”还是“离散断言”，直接影响判读方式。三者关系是：SEL告诉你“发生了什么”，传感器告诉你“现在是多少”，事件类型告诉你“这条记录该怎么读”。

在Supermicro的Web管理界面（BMC Web GUI）中，路径通常为 Server Health → Event Log 查看SEL，Server Health → Sensor Readings 查看实时传感器。命令行下可用 ipmitool 获取：

ipmitool -I lanplus -H <BMC_IP> -U ADMIN -P <PASSWORD> sel list
ipmitool -I lanplus -H <BMC_IP> -U ADMIN -P <PASSWORD> sdr type temperature
ipmitool -I lanplus -H <BMC_IP> -U ADMIN -P <PASSWORD> sensor list

二、读懂一条SEL记录

一条典型的SEL记录形如：

 12 | 03/14/2025 | 09:22:41 | Temperature #0x01 | Upper Non-critical going high | Asserted
 13 | 03/14/2025 | 09:23:05 | Temperature #0x01 | Upper Critical going high | Asserted
 14 | 03/14/2025 | 09:25:10 | Fan #0x21 | Lower Non-recoverable going low | Asserted

解读顺序建议为：时间戳 → 传感器名称 → 事件方向 → 阈值级别 → 断言/解除。上例中，09:22温度越过非临界上限，09:23升级为临界上限，09:25风扇跌至不可恢复下限，说明散热链路先劣化、后失效，属于典型的“风扇故障导致温度攀升”因果链，而非温度传感器本身故障。

事件方向中的 going high 表示读数向上越限，going low 表示向下越限；Asserted 表示事件发生，Deasserted 表示恢复正常。若只看到Asserted而长期没有Deasserted，说明异常持续存在，应优先处理。

三、传感器读数与阈值判读

传感器读数需结合阈值（Threshold）判断。IPMI将阈值分为：Lower Non-recoverable（LNR）、Lower Critical（LC）、Lower Non-critical（LNC）、Upper Non-critical（UNC）、Upper Critical（UC）、Upper Non-recoverable（UNR）。以CPU温度为例，若UNC=85℃、UC=90℃、UNR=95℃，则读数88℃表示已进入非临界告警区，90℃以上为临界，95℃以上为不可恢复，通常伴随降频或关机保护。

电压类传感器（如+12V、+3.3V、Vcore）对偏差更敏感。以+12V为例，正常范围常设为11.4V～12.6V，若读数跌至11.2V并触发LC，需排查电源模块、背板供电或线缆压降，而非直接更换主板。风扇转速则关注Lower Critical，若某风扇从8000 RPM跌至2000 RPM以下，通常意味着轴承磨损或PWM控制异常。

判读原则：先看SEL中的“首次异常时间”，再对照该时刻前后的传感器读数，确认是“传感器误报”还是“真实硬件劣化”。若同一传感器反复Asserted/Deasserted，多为接触不良或阈值设置过紧。

四、事件类型与快速定位路径

IPMI事件类型常见有：Threshold（阈值型）、Discrete（离散型）、Sensor-specific（传感器特定型）。阈值型对应温度、电压、风扇；离散型对应电源状态、内存ECC、CPU热跳闸等；传感器特定型则用于OEM自定义事件，如Supermicro的电源模块冗余丢失。

实际排障时，可按以下路径快速收敛：先过滤SEL中的Critical与Non-recoverable事件，锁定时间窗口；再查看该窗口内相关传感器读数趋势；最后结合事件类型判断是环境问题、部件故障还是配置问题。例如，若SEL显示“Power Supply #0x01 Failure Asserted”，同时传感器读数中+12V正常，则可能是电源模块通信或冗余检测异常，而非实际掉电。

五、实操判读示例

假设某台Supermicro 2U服务器在凌晨出现业务中断，BMC SEL中检索到如下片段（示例数据）：

 88 | 03/14/2025 | 02:11:03 | Power Supply #0x01 | Presence detected | Deasserted
 89 | 03/14/2025 | 02:11:03 | Power Supply #0x02 | Presence detected | Asserted
 90 | 03/14/2025 | 02:11:04 | Power Unit #0x01 | Power off | Asserted
 91 | 03/14/2025 | 02:11:05 | Power Unit #0x02 | Power off | Asserted

解读：02:11:03电源1的Presence由“存在”变为“不存在”（Deasserted），同时电源2被检测到（Asserted），说明电源1被拔出或失联；1秒后两个电源单元均报Power off，系统掉电。此时应优先检查电源1的插接、电源线及PDU，而非主板。若传感器读数中+12V在掉电前已跌至11.0V，则更倾向电源模块本身老化。

注意：SEL时间戳默认可能为UTC，需与BMC时区设置核对，否则会与业务日志时间错位，导致误判故障先后顺序。

六、快速定位检查表

步骤	操作	判断依据
1	导出SEL并按时间排序	锁定首个Critical/Non-recoverable事件
2	查看该时刻前后传感器读数	确认数值是否真实越限
3	识别事件类型	Threshold / Discrete / Sensor-specific
4	检查Asserted是否解除	未解除表示异常持续
5	交叉验证电源、风扇、温度	区分单点故障与连锁反应

掌握以上方法后，面对Supermicro服务器的硬件异常，可以先从SEL中提取时间线，再用传感器读数验证，最后用事件类型确定处理优先级。这样既能避免盲目更换部件，也能在最短时间内把故障范围收敛到具体模块。