📚 课程目录第2章异常检测基础

异常检测基础：异常的定义、类型及常见应用场景

在TinyML无监督异常检测的语境下，我们面对的核心矛盾是：故障样本稀缺甚至完全缺失，而正常数据却相对丰富。要解决这一矛盾，首先必须深刻理解"异常"的本质。异常检测并非简单的"找不同"，而是一种基于数据分布、时序规律或空间关系的统计推断过程。本章将系统梳理异常的定义、三种基本类型（点异常、上下文异常、集体异常）及其在边缘设备上的典型应用场景，为后续建模策略奠定概念基础。

核心原理：什么是异常？为什么"正常"比"故障"更重要

异常（Anomaly）在统计学和机器学习中的经典定义是：一个观测值或观测序列，与数据集中其余部分存在显著差异，以至于怀疑其由不同机制产生。在TinyML场景中，这个定义需要进一步细化。由于边缘设备（如MCU、传感器节点）的计算资源有限，我们通常无法运行复杂的监督学习模型，因此必须依赖对"正常行为"的建模。这里的核心逻辑是：如果能够精确刻画正常数据的分布或规律，那么任何偏离该规律的模式都可以被视为异常。

在工业振动监测中，一个正常运行的轴承会产生具有特定频率特征的振动信号。当轴承出现磨损时，振动信号的能量分布会发生变化，产生新的频率成分或幅值突变。从数据角度看，这些变化就是异常。但关键在于：我们并不需要预先知道"磨损后的振动长什么样"，只需要知道"正常振动应该是什么样"。这正是无监督异常检测的哲学基础——用正常数据构建参考模型，用偏差度量异常程度。

在TinyML实践中，异常检测通常涉及三个核心步骤：特征提取（从原始传感器数据中提取有意义的统计量）、正常行为建模（使用高斯分布、聚类、自编码器等）、异常评分（计算新样本与正常模型的偏离程度）。这三个步骤构成了几乎所有无监督异常检测算法的基础框架。

  关键认知：在TinyML异常检测中，"正常"是一个动态概念。设备的老化、环境温度的季节性变化、负载的波动都会导致"正常"分布缓慢漂移。因此，优秀的异常检测系统需要具备在线更新能力，或者至少需要定期重新校准正常模型。否则，随着时间推移，误报率会急剧上升。

异常类型详解：点异常、上下文异常与集体异常

根据异常的结构特征，学术界和工业界通常将异常分为三种类型。理解这三种类型的区别，对于选择合适的检测算法至关重要，因为不同类型的异常需要不同的建模策略。

1. 点异常（Point Anomaly）

点异常是最简单、最直观的异常类型，指单个数据点相对于整体数据分布表现出极端偏离。在TinyML场景中，点异常通常表现为传感器读数的突变。例如，一个温度传感器在正常工作时输出25°C±2°C，如果突然读取到85°C，这就是一个典型的点异常。点异常检测的核心是建立正常数据的概率分布模型（如高斯分布），然后计算新样本的概率密度。如果概率密度低于某个阈值，则判定为异常。

点异常检测的常用算法包括：基于统计的Z-score方法、基于距离的K近邻方法、基于聚类的DBSCAN等。在TinyML设备上，由于内存和计算能力限制，最常用的是轻量级统计方法——维护正常数据的均值和标准差，然后计算新样本的标准化得分。

2. 上下文异常（Contextual Anomaly）

上下文异常比点异常复杂得多，指数据点在特定上下文中异常，但在其他上下文中可能完全正常。这里的"上下文"可以是时间（如一天中的某个时段、一周中的某天）、空间位置或环境条件。最典型的例子是电力消耗：一个家庭在白天用电量达到3kW是正常的，但在凌晨2点出现同样的用电量就属于异常。上下文异常检测的关键在于将数据点与其所处的上下文特征联合考虑。

在TinyML实现中，上下文异常检测通常需要引入时间窗口或条件变量。例如，在可穿戴设备中，心率在运动时达到150bpm是正常的，但在静息状态下达到150bpm则可能是心律失常。实现方法包括：条件高斯模型（针对不同上下文建立不同的正常分布）、循环神经网络（捕捉时序依赖）或基于规则的分段模型。

3. 集体异常（Collective Anomaly）

集体异常是最复杂的一种类型，指一组数据点作为一个整体表现出异常模式，但单个数据点本身可能看起来正常。例如，在电机振动信号中，如果出现一段持续0.5秒的高频振荡，虽然每个采样点的幅值都在正常范围内，但这段序列的频谱特征与正常运行时完全不同。集体异常检测需要分析数据点之间的相互关系、序列模式或频域特征。

在TinyML设备上实现集体异常检测具有挑战性，因为需要处理序列数据并提取时序特征。常用的方法包括：滑动窗口上的频域分析（FFT）、小波变换、自编码器对序列重建的误差分析等。由于计算资源限制，边缘设备通常采用简化策略——在MCU上执行短时傅里叶变换（STFT）或使用轻量级一维卷积网络提取局部模式。

异常类型	定义特征	典型示例	适合的检测方法	TinyML实现难度
点异常	单点值显著偏离整体分布	温度突变、电流尖峰	Z-score、高斯分布、KNN	低（仅需均值和方差）
上下文异常	在特定条件下异常，其他条件下正常	夜间高用电量、静息时心率过高	条件高斯、时序模型、规则引擎	中（需要上下文特征）
集体异常	一组数据联合异常，单点看似正常	振动序列振荡、语音片段异常	FFT、自编码器、序列模式挖掘	高（需要序列处理能力）

判断方法：如何识别和区分三种异常类型

在实际TinyML项目开发中，工程师首先需要判断目标应用场景中的异常属于哪种类型，因为这将直接决定后续的建模策略和算法选型。以下是一个系统化的判断流程：

数据可视化探索：首先将传感器数据绘制成时间序列图，观察异常是否表现为孤立的尖峰（点异常）、特定时段内的偏离（上下文异常）还是持续一段时间的模式变化（集体异常）。
上下文依赖性分析：问自己一个问题——"如果这个数据点出现在另一个时间或条件下，它还是异常吗？"如果答案是"否"，则属于上下文异常；如果答案是"是"，则可能是点异常或集体异常。
单点vs序列评估：将异常片段中的每个点单独拿出来检查，如果每个点都在正常范围内，但整体序列不正常，则属于集体异常。如果单个点就已经明显偏离，则属于点异常。
业务规则验证：与领域专家沟通，确认异常的实际物理含义。例如，在电机监测中，如果异常表现为持续的高频振动，即使幅值不大，也可能是轴承故障的早期信号（集体异常）。

实战经验：在TinyML项目中，很多实际异常是混合类型的。例如，一个传感器节点可能同时出现点异常（瞬时尖峰）和集体异常（后续的振荡衰减）。建议在系统设计初期就考虑多尺度检测策略——使用轻量级统计方法捕捉点异常，同时使用滑动窗口FFT捕捉集体异常。在资源允许的情况下，可以并行运行两个检测器，并将结果通过简单的逻辑融合（如OR或加权投票）输出最终异常判定。

案例拆解：工业电机轴承的异常检测

为了更具体地说明三种异常类型在实际TinyML项目中的应用，我们以一个工业电机轴承监测系统为例进行完整拆解。

背景与约束：某工厂需要在一条生产线的10台电机上部署振动监测系统。每台电机配备一个三轴加速度传感器（采样率2kHz），数据通过SPI接口传输到STM32L4系列MCU（Cortex-M4，80MHz，256KB SRAM）。系统要求：检测精度不低于90%，误报率低于5%，且MCU的CPU占用率不超过30%。由于工厂运行环境复杂，无法提前获取故障数据，因此必须采用无监督方法。

初始现象与目标：在系统部署初期，工程师采集了每台电机正常运行状态下24小时的振动数据。目标是通过分析这些正常数据，建立能够检测轴承早期磨损的异常检测模型。

关键数据与参数：正常振动数据的加速度均方根值（RMS）约为0.8g，标准差0.15g；频谱分析显示主要能量集中在50Hz（电机转频）和150Hz（3倍频）附近。工程师决定提取三个特征：时域RMS值、频域峰值频率、频域能量熵。

分析判断过程：通过可视化分析，工程师发现正常数据中存在三种潜在异常模式：①偶尔出现的瞬时冲击（RMS值突然超过2.5g，持续约5ms）——这是点异常；②在特定负载条件下（如启动阶段），振动频谱出现额外的200Hz成分——这是上下文异常；③某些时间段内，振动信号出现持续0.3秒的调制振荡，但每个采样点的幅值都在正常范围内——这是集体异常。

实际操作步骤：

// 伪代码：TinyML异常检测流程
// 1. 特征提取（每100ms窗口）
float rms = calculateRMS(accel_data, 200);  // 200个采样点@2kHz
float peak_freq = findPeakFrequency(fft_result);
float entropy = calculateSpectralEntropy(fft_result);

// 2. 点异常检测：Z-score方法
float z_score = (rms - normal_rms_mean) / normal_rms_std;
if (z_score > 3.5) { flag_point_anomaly(); }

// 3. 上下文异常检测：条件高斯模型
if (motor_state == STARTUP) {
    float ctx_score = (peak_freq - startup_peak_mean) / startup_peak_std;
    if (ctx_score > 3.0) { flag_context_anomaly(); }
}

// 4. 集体异常检测：滑动窗口FFT能量比
float high_freq_ratio = fft_energy_above_500Hz / total_fft_energy;
if (high_freq_ratio > 0.3 && duration > 0.2s) { flag_collective_anomaly(); }

结果对比与复盘：部署后运行3个月，系统成功检测到2起轴承早期磨损事件（均为集体异常模式），同时误报率控制在3.2%。复盘发现，点异常检测器虽然简单，但有效过滤了外部冲击干扰；上下文异常检测器在启动阶段产生了较多误报，原因是启动阶段的振动特征本身波动较大，后续通过增加启动阶段的数据缓冲和自适应阈值进行了优化。集体异常检测器虽然计算量最大（需要FFT），但成功捕捉到了最有价值的早期故障信号。

风险提示：在TinyML设备上实现集体异常检测时，FFT计算会消耗较多CPU周期和内存。对于STM32L4级别的MCU，建议使用256点FFT（约需2KB内存），并控制窗口重叠率在50%以内。如果设备资源更紧张，可以考虑使用Goertzel算法只计算特定频段的能量，而不是完整FFT。

常见误区与总结复盘

在TinyML异常检测项目的实践中，工程师经常陷入以下几个误区，需要特别注意：

误区一：忽视上下文信息。很多初学者只关注数据点的值，而忽略了时间、环境、设备状态等上下文信息。这会导致大量误报——例如，将电机启动时的正常高振动误判为异常。
误区二：过度依赖单一特征。仅使用RMS值或峰值等单一特征往往无法区分不同类型的异常。建议至少提取时域、频域和统计域三类特征，并采用简单的特征融合策略。
误区三：静态阈值陷阱。固定阈值在设备老化或环境变化后不再适用。建议实现自适应阈值机制——定期（如每天）重新计算正常数据的均值和标准差，或者使用EWMA（指数加权移动平均）在线更新。
误区四：忽略数据质量。传感器漂移、连接器松动、电源噪声等硬件问题会产生大量伪异常。在建模前必须进行数据清洗和校准，否则模型会学习到错误的"正常"模式。

总结：异常检测的基础在于对"正常"的深刻理解。点异常、上下文异常和集体异常分别对应不同的数据特征和检测策略。在TinyML场景下，我们需要在算法精度和计算资源之间取得平衡。对于大多数边缘设备应用，建议采用分层检测架构：第一层使用轻量级统计方法（Z-score、IQR）快速过滤点异常；第二层使用条件模型或规则引擎处理上下文异常；第三层使用FFT或轻量级神经网络处理集体异常。这种分层设计既能保证检测效果，又能控制资源消耗。