故障检测进阶：异常检测算法与预测性维护
上一章我们解决了“如何快速发现故障”的问题，但传统基于固定阈值的告警往往存在滞后性——当指标突破阈值时，故障往往已经发生甚至已造成业务影响。本章将引入异常检测算法与预测性维护理念，帮助我们从“被动响应”走向“主动预防”，在故障发生前捕捉到异常征兆。
核心原理：从阈值判断到行为建模
传统监控的核心是“阈值逻辑”：例如GPU温度超过85°C即告警。这种方式简单直接，但存在两个致命缺陷：一是静态阈值无法适应负载变化（训练任务满载时温度本就偏高，空闲时70°C可能已异常）；二是无法捕捉缓慢漂移（显存ECC错误每天增加几条，连续两周后才突破阈值，但此时硬件已接近失效）。
异常检测算法的核心思想是：为每个指标建立动态行为基线，将当前观测值与基线进行比较，用“偏离程度”替代“绝对数值”作为判断依据。常用的方法包括：
- 统计方法：滑动窗口内的均值、标准差、Z-Score，适合检测突发性尖峰。
- 时间序列分解：将指标分解为趋势项、周期项和残差项，对残差进行阈值判断，适合检测周期性负载下的异常。
- 隔离森林 / 单类SVM：无监督学习算法，适合多维指标联合检测（如温度+功耗+风扇转速的组合异常）。
- 指数加权移动平均（EWMA）：对近期数据赋予更高权重，能快速响应趋势变化，同时抑制噪声。
在GPU集群场景中，我们通常不只用单一算法，而是分层组合：轻量级统计方法做实时检测，机器学习模型做分钟级趋势分析，两者结果互为补充。
方法流程：构建预测性维护管线
预测性维护的目标是估算剩余使用寿命（RUL），并在故障发生前安排维护窗口。完整流程分为五个阶段：
- 数据采集：以1Hz频率采集GPU的NVML指标（温度、功耗、显存错误、PCIe链路速率、风扇转速等），同时收集系统日志中的XID错误、ECC事件。
- 特征工程：提取统计特征（均值、方差、峰值）、频域特征（FFT主频）、趋势特征（EWMA斜率）。例如，将“过去1小时ECC错误累计数”作为关键特征。
- 基线建模：选取健康运行时段的数据，训练每个GPU的个性化基线模型。注意：不同型号（A100 vs H800）甚至同一型号不同个体的基线都存在差异。
- 异常评分：实时计算当前特征与基线的偏差，输出0~100的异常分数。分数超过动态阈值时触发告警。
- 维护决策：根据异常分数和RUL估算结果，自动生成维护工单或触发隔离操作。
# 伪代码示例：EWMA异常检测核心逻辑
ewma_value = 0.0
alpha = 0.3 # 衰减因子，越大对近期数据越敏感
def update_ewma(current_value):
global ewma_value
ewma_value = alpha * current_value + (1 - alpha) * ewma_value
return ewma_value
# 每30秒执行一次
for gpu in gpu_list:
temp = read_nvml(gpu, 'temperature')
ewma_temp = update_ewma(temp)
deviation = abs(temp - ewma_temp) / (ewma_temp * 0.05 + 1e-6)
if deviation > 3.0: # 超过3倍标准差视为异常
trigger_alert(gpu, f'temperature deviation: {deviation:.2f}')案例：A100集群的显存静默错误预测
某训练集群的20台A100 GPU在运行大模型训练时，频繁出现“训练中断但无明确报错”的问题。传统监控显示所有指标均在阈值内，但重启任务后故障复现。我们引入异常检测后，发现以下规律：
| 时间窗口 | 可纠正ECC错误（次/小时） | 不可纠正ECC错误 | 异常评分 | 实际结果 |
|---|---|---|---|---|
| 第1天 | 2~5 | 0 | 12 | 正常 |
| 第3天 | 15~30 | 0 | 47 | 正常 |
| 第5天 | 80~120 | 0 | 78 | 出现训练中断 |
| 第6天 | 200+ | 1 | 95 | GPU永久故障 |
通过分析发现，可纠正ECC错误的增长速率是最强预测特征。当异常评分超过70时，该GPU在48小时内发生不可纠正错误的概率超过80%。据此我们建立了自动隔离策略：评分>85时自动将GPU标记为“预故障”，将其从训练任务中摘除并触发RMA流程。
nvidia-smi -q -d ECC获取详细错误计数，并记录两次采样间的差值。对于显存错误，增长率从线性变为指数级时，往往是硬件失效的前兆。
误区与复盘：为什么你的检测模型总在“狼来了”
在实施异常检测时，团队常陷入以下误区，导致模型误报率过高或漏报严重：
- 误区一：直接使用开源异常检测库默认参数。GPU指标具有强周期性（训练与空闲交替），默认参数往往将正常的负载切换识别为异常。必须根据业务周期进行参数调优。
- 误区二：忽略指标间的相关性。例如温度升高时风扇转速同步上升是正常现象，但若温度升高而风扇转速不变，才是真正的冷却异常。单指标检测无法发现此类问题。
- 误区三：训练数据包含故障样本。基线模型必须使用“纯净”的健康数据训练。如果训练集中混入早期故障数据，模型会把故障特征当作正常模式，导致漏报。
- 误区四：只做检测不做处置。检测出异常后，如果仍然依赖人工判断是否隔离，响应时间可能长达数小时。应预设自动处置策略（如隔离GPU、降频运行、迁移任务）。
预测性维护的最终目标不是“零故障”，而是将故障的影响控制在可接受范围内。通过异常评分分级（绿色/黄色/橙色/红色），我们可以将有限的运维资源聚焦在真正需要干预的事件上。下一阶段，我们将探讨当故障无法避免时，如何通过集群层面的容错设计（如任务迁移、检查点恢复）来保障训练作业的连续性。