📚 课程目录第4章故障检测

4. 故障检测：异常检测方法与根因分析初步

生产环境中的AI模型故障，其外在表现往往先于业务指标恶化被观测到。故障检测的核心任务，就是从监控数据流中及时、准确地识别出“异常状态”，为后续的根因分析和自愈动作争取时间窗口。本章聚焦两类主流异常检测方法——统计方法与机器学习方法，并引入根因分析的初步思路。

4.1 核心原理：从“正常基线”到“偏差判定”

所有异常检测方法都遵循一个共同逻辑：定义正常行为，度量当前行为与正常状态的偏差。正常行为通常以历史窗口内的统计分布、时序模式或特征空间形态来表示。当实时数据点偏离该基线超过预设阈值时，即触发异常告警。

在生产AI系统中，异常检测的输入信号通常包括：模型推理延迟（p50/p99）、请求错误率、输入特征分布统计量（均值、方差）、预测置信度、梯度范数（训练阶段）以及下游业务转化率等。检测方法的选择需权衡灵敏度、误报率与计算开销。

  关键原则：检测器必须与模型版本、流量时段（如白天/夜间峰值）和特征版本联动。一个在白天流量高峰下“正常”的延迟值，在凌晨低峰期可能已是严重异常。

4.2 统计方法：快速、可解释的基线检测

统计方法假设正常数据服从某种概率分布，通过参数或非参数方式刻画正常范围。其优势在于计算开销低、可解释性强，适合对延迟、错误率等单维指标做实时检测。

4.2.1 常用统计检测技术

方法	适用场景	核心公式/逻辑	局限
Z-Score	近似正态分布的指标	Z = (x - μ) / σ，\|Z\| > 3 判异常	对均值漂移不敏感
IQR（四分位距）	偏态分布、有离群点	Q1 - 1.5×IQR ~ Q3 + 1.5×IQR 之外为异常	无法捕捉趋势变化
EWMA（指数加权移动平均）	缓慢漂移的指标	EWMA_t = λ·x_t + (1-λ)·EWMA_{t-1}	对突发尖峰反应滞后
CUSUM（累积和）	微小持续偏移	S_t = max(0, S_{t-1} + (x_t - μ - k))	参数k、h需人工调优

4.2.2 统计方法落地示例

以推理延迟检测为例，假设某模型服务近7天p99延迟均值为120ms，标准差为15ms。实时监控到当前p99延迟为180ms，则Z-Score = (180-120)/15 = 4.0，远超阈值3，触发告警。但若延迟从120ms缓慢爬升至135ms并持续，Z-Score可能始终低于3，此时应改用CUSUM或EWMA捕捉累积偏移。

# 伪代码：EWMA检测器
lambda = 0.3
ewma = None
threshold = 3.5  # 基于历史残差标准差设定

def detect(current_value):
    global ewma
    if ewma is None:
        ewma = current_value
    else:
        ewma = lambda * current_value + (1 - lambda) * ewma
    residual = abs(current_value - ewma)
    return residual > threshold * std_residual

4.3 机器学习方法：多维特征与非线性模式识别

当异常表现为多个特征的非线性组合（如延迟升高伴随输入分布偏移、同时下游转化率下降），统计方法难以有效建模。机器学习方法通过训练数据学习正常模式的高维表示，对偏离该表示的样本赋予高异常分数。

4.3.1 主流方法对比

Isolation Forest（孤立森林）：基于随机切割思想，异常点因“容易被孤立”而路径更短。适合中高维数据，线性时间复杂度，是生产环境最常用的无监督方法。
One-Class SVM：在特征空间中寻找一个超球面尽可能包住正常样本，边界外的点判为异常。适合中小规模数据，核函数选择影响较大。
Autoencoder（自编码器）：训练网络重建正常样本，重建误差大的输入即为异常。适合捕捉特征间复杂依赖，但需要较多正常样本训练。
时序异常检测（如LSTM-AE）：对序列数据建模，检测点异常或模式异常，适合日志序列、调用链数据。

实践建议：对于生产AI系统，优先尝试Isolation Forest作为基线模型。它无需假设数据分布，对特征缩放不敏感，且能输出每个样本的异常分数，便于设定动态阈值。

4.3.2 特征工程要点

机器学习检测器的效果高度依赖特征质量。建议从以下维度构造特征：

统计特征：滑动窗口内的均值、方差、分位数、偏度。
频域特征：FFT后主要频率分量能量占比（捕捉周期性异常）。
上下文特征：当前时刻（小时/星期）、模型版本号、最近发布标记。
跨指标特征：延迟与QPS的比值、错误率与重试次数的差值。

4.4 案例：某推荐系统实时异常检测体系

某短视频推荐模型部署后，业务方反馈“人均观看时长下降5%”。监控团队从指标层、特征层、模型层三层联动排查：

检测流程：

指标层：对“人均观看时长”计算EWMA，发现连续15分钟低于下阈值，触发一级告警。
特征层：对输入特征（用户embedding均值、视频类别分布）运行Isolation Forest，异常分数从0.3升至0.85，定位到“视频类别分布”偏移——新上线的短视频类别占比从5%突增至40%。
模型层：检查模型预测置信度分布，发现低置信度（<0.5）样本比例从2%升至18%。

根因初步定位：新类别视频内容特征与训练分布差异大，导致模型推荐不精准，用户观看时长下降。检测系统在15分钟内完成了从指标异常到特征偏移的定位，为回滚或模型微调提供了明确方向。

# 检测日志片段
2025-06-12 14:03:22 [WARN] metric=watch_time_pct p50=4.2 (baseline=4.5, z=3.8)
2025-06-12 14:03:25 [INFO] feature_anomaly_score=0.85 top_feature=video_category_dist
2025-06-12 14:03:28 [CRITICAL] confidence_drop: low_conf_ratio=18% (threshold=5%)
2025-06-12 14:03:30 [ACTION] trigger_rollback_candidate=true

4.5 根因分析初步：从告警到定位

异常检测回答“系统是否出问题”，根因分析回答“为什么出问题”。生产环境根因分析通常遵循“漏斗式排查”思路：

4.5.1 根因分析三步法

步骤	核心问题	常用手段
1. 时间对齐	异常从何时开始？是否与发布、变更时间吻合？	时间线比对、变更记录交叉
2. 维度下钻	异常集中在哪个维度？(版本、地域、设备、用户群)	多维聚合分析、树状下钻
3. 依赖排查	上游数据、下游服务是否异常？	调用链追踪、依赖健康检查

4.5.2 常见根因分类

数据漂移：训练/推理数据分布不一致（协变量漂移、概念漂移）。
代码/配置变更：模型版本更新、特征逻辑修改、超参调整。
基础设施抖动：GPU故障、网络延迟、存储IO瓶颈。
外部依赖变化：第三方API限流、上游特征服务超时。

常见误区：不要一看到模型指标异常就归因于“模型变差了”。先检查输入数据分布是否偏移、上游特征是否缺失、推理环境是否有资源争抢。据统计，生产环境AI故障中约40%源于数据或依赖问题，而非模型本身。

4.6 误区与复盘

误区一：阈值设置过于静态。某团队将延迟阈值固定为200ms，白天高峰期频繁误报，夜间低峰期真实异常被漏报。复盘后改为基于时段动态阈值（高峰期250ms，低峰期150ms），误报率下降60%。

误区二：只检测单一指标。某语音识别服务仅监控错误率，当输入音频采样率异常导致识别质量下降时，错误率变化不大，但置信度特征已明显偏移。增加多维特征检测后，此类问题能在5分钟内被发现。

误区三：忽略检测器自身的“冷启动”。新模型上线初期，历史数据不足，统计基线不可靠。应在模型上线前用影子流量积累至少24小时正常数据，再启用异常检测。

  复盘要点：每次异常事件后，应记录“检测耗时、定位耗时、误报/漏报情况、根因类别”。持续迭代检测器的阈值和特征，将平均检测时间（MTTD）作为核心SLO进行跟踪。

异常检测与根因分析是自愈体系的眼睛和大脑。统计方法提供快速、可解释的基线监控，机器学习方法捕捉复杂多维异常，而结构化的根因分析流程则确保从“发现问题”到“定位问题”的路径清晰可控。下一阶段，我们将基于这些检测信号，设计自动化的恢复策略与动作编排。