3、异常检测基础理论：异常检测定义、类型（点异常、上下文异常、集体异常）、常用方法（统计、距离、密度、重构）与边缘部署约束

在工业物联网与边缘智能场景中，异常检测（Anomaly Detection）是设备预测性维护、产品质量控制与安全监控的核心技术底座。与分类或回归任务不同，异常检测面对的是极度不平衡的数据分布——正常样本充足且模式相对稳定，而异常样本稀缺、形态多样且往往不可预知。Edge Impulse 作为端侧机器学习平台，其异常检测模块（Anomaly Detection）并非简单的"二分类器"，而是通过学习正常行为的边界，对偏离该边界的输入进行评分。本章将系统梳理异常检测的定义与类型、主流算法族、以及边缘部署对模型选择的硬性约束，为后续章节中基于 Edge Impulse 的实操训练与阈值调优奠定理论基础。

异常检测基础理论框架与边缘部署约束 异常检测定义与类型 点异常（全局/局部离群） 上下文异常（条件异常） 集体异常（群体行为偏离） 常用检测方法族 统计方法（Z-score/3σ） 距离方法（KNN/LOF） 密度方法（DBSCAN） 重构方法（AE/PCA） 边缘部署硬约束 内存（RAM/Flash）限制 算力（MCU/DSP）限制 实时性与功耗约束 通信带宽与隐私限制 Edge Impulse 异常检测工程链路 传感器数据采集 特征工程/降维 模型训练/验证 阈值设置/部署 核心矛盾：检测灵敏度 vs 误报率 vs 边缘资源消耗 关键评估指标 精确率（Precision） | 召回率（Recall） | F1-Score | AUC-ROC | 推理延迟（ms）

3.1 异常检测的定义与核心假设

异常检测（Anomaly Detection）是指在数据集中识别出与绝大多数样本行为模式显著不同的数据点、序列或事件的过程。其核心假设是：正常样本在特征空间中呈现出某种聚集性或规律性，而异常样本则偏离这种规律。在工业振动分析中，正常轴承的频谱特征相对稳定，而磨损或裂纹会导致特定频段的能量异常升高；在电机电流监测中，正常运行的电流波形具有周期性，而匝间短路会引入谐波畸变。Edge Impulse 的异常检测模块正是基于这一假设，利用正常数据训练模型，然后对实时输入计算"异常评分"（Anomaly Score）。

需要特别强调的是，异常检测与传统的监督分类有本质区别。监督分类需要预先标注所有类别（包括异常类别），而异常检测通常只使用正常数据训练（即"单类学习"或"半监督"）。这意味着异常检测模型无法识别"已知异常"的具体类型，只能判断"是否偏离正常"。在实际工程中，这既是优势（无需收集大量异常样本）也是局限（无法区分异常的具体原因）。

核心要点：异常检测的本质是"正常行为边界学习"。模型输出的不是类别标签，而是一个连续评分（如距离、重构误差、密度倒数），工程师需要根据该评分设置阈值来判定是否异常。阈值设置过高会导致漏报（假阴性），过低则导致误报（假阳性），这是后续章节调优的核心矛盾。

3.2 异常检测的三种类型

根据异常存在的形式与上下文关系，异常检测任务通常分为以下三类，不同类型的检测策略差异显著：

类型 定义 典型场景 检测难点
点异常 单个数据点与整体数据分布显著偏离 传感器瞬时尖峰、电压骤降、温度突变 需要区分真实异常与噪声
上下文异常 数据点在特定上下文（时间/空间）下异常，但在其他上下文中正常 夜间设备功耗突增、季节性温度偏移、特定转速下的振动超标 需要引入上下文特征（时间戳、工况参数）
集体异常 一组数据点整体行为异常，但单个点可能看似正常 连续多帧振动波形畸变、通信协议序列异常、多传感器协同失效 需要序列建模或窗口聚合

在 Edge Impulse 的实际项目中，点异常最常见于单帧特征向量（如 FFT 频谱的某个频段能量），上下文异常常见于需要结合设备转速或环境温度的场景，而集体异常则多见于时间序列窗口（如连续 10 帧的加速度波形）。理解这三种类型有助于选择合适的特征工程方式：点异常适合直接对特征向量建模；上下文异常需要将上下文变量（如 RPM、温度）拼接为特征；集体异常则需要对时间窗口做统计聚合（如均值、方差、峰值）。

3.3 常用异常检测方法详解

异常检测算法家族庞大，但在边缘部署场景下，受限于算力与内存，真正可落地的算法主要集中在以下四类。每类算法在 Edge Impulse 中都有对应的实现或近似实现。

3.3.1 统计方法（Statistical Methods）

统计方法假设正常数据服从某种概率分布（如高斯分布），通过计算样本偏离分布的"概率"或"标准化距离"来判断异常。最经典的是 Z-score 方法：

Z-score = (x - μ) / σ

其中 μ 为特征均值，σ 为标准差。
当 |Z-score| > 3 时，通常判定为异常（3σ原则）。

统计方法的优势在于计算量极小（仅需存储均值和方差），非常适合 MCU 级别的部署。但其假设过于理想化——实际工业数据往往呈现多模态、非高斯分布。Edge Impulse 的"Gaussian Anomaly Detection"模块正是基于此原理，但通过多维高斯分布（含协方差矩阵）来捕捉特征间的相关性。在部署时，模型仅需存储均值向量和协方差矩阵，内存占用通常小于 1KB。

3.3.2 距离方法（Distance-based Methods）

距离方法的核心思想是：正常样本在特征空间中彼此靠近，而异常样本远离其最近邻居。最典型的是 K-最近邻（KNN）距离法——计算样本到其 k 个最近邻居的平均距离，距离越大越可能是异常。另一种是相对距离法，如利用样本到训练集中心的马氏距离（Mahalanobis Distance），该距离考虑了特征间的相关性。

距离方法的优点是无需假设数据分布，对复杂形状的聚类有较好适应性。但缺点是计算复杂度高——每次推理需要计算与所有训练样本的距离，这在边缘设备上不可行。因此，Edge Impulse 通常采用"聚类中心近似"策略：先用 K-Means 将正常数据压缩为若干簇中心，推理时仅计算样本到最近簇中心的距离。这样既保留了距离方法的灵活性，又将计算量控制在可接受范围。

3.3.3 密度方法（Density-based Methods）

密度方法从"局部密度"角度出发，认为异常样本位于低密度区域。最著名的算法是 LOF（Local Outlier Factor，局部离群因子），它比较样本局部密度与其邻居局部密度的比值。若样本密度显著低于邻居，则 LOF 值远大于 1，判定为异常。DBSCAN 也属于密度方法，但其主要用于聚类，异常检测只是副产品。

密度方法对局部异常（即样本在全局看正常，但在局部区域偏离）特别有效。例如，在振动频谱中，某个频段的能量在全局范围内处于正常范围，但相对于其相邻频段却出现突兀的峰值——这种局部异常用全局统计方法难以捕捉，而密度方法可以。然而，LOF 的计算开销较大，需要维护邻居关系，在边缘部署时通常需要降采样或使用近似算法。

3.3.4 重构方法（Reconstruction-based Methods）

重构方法通过训练一个模型学习正常数据的"压缩表示"，然后比较输入样本的重构误差。如果重构误差大，说明输入无法被正常模式解释，即为异常。最典型的实现是自编码器（Autoencoder, AE）和主成分分析（PCA）。

自编码器由编码器（将输入压缩为低维潜变量）和解码器（从潜变量重构输入）组成。训练时仅使用正常数据，模型学会"记住"正常模式。推理时，异常样本经过编码-解码后会产生较大的重构误差（如均方误差 MSE）。Edge Impulse 的"Anomaly Detection (AE)"模块即采用此架构，其优势在于能够捕捉非线性特征关系，且推理时仅需一次前向传播，计算量可控。

方法选择建议：在 Edge Impulse 项目中，如果特征维度较低（< 20）且数据近似高斯分布，优先选择统计方法（Gaussian AD）；如果特征维度较高或分布复杂，选择重构方法（AE）；如果存在明显的局部异常模式，考虑密度方法；距离方法通常作为基线对比。实际项目中，建议同时训练 2-3 种模型，在验证集上对比 AUC 后选择最优。

3.4 边缘部署约束与模型选择

边缘部署（Edge Deployment）意味着模型将运行在 MCU（如 Cortex-M4）、DSP 或低功耗 MPU 上，这些设备的资源极其有限。异常检测模型的选择必须同时满足以下约束：

  • 内存约束：模型参数（权重、均值、协方差矩阵）必须能装入 Flash（通常 256KB-1MB），推理时的中间变量必须能装入 RAM（通常 64KB-256KB）。统计方法仅需存储均值/方差（几十字节），AE 模型需存储权重（几十 KB），而 KNN 原始方法需要存储全部训练样本（不可行）。
  • 算力约束：MCU 的主频通常在 80-240MHz，且无浮点单元（FPU）或仅有单精度 FPU。模型推理必须在几毫秒内完成。统计方法仅需乘加运算；AE 模型需要矩阵乘法，但可通过量化（INT8）加速；LOF 的邻居搜索在 MCU 上几乎不可行。
  • 实时性与功耗：工业监测通常要求 1kHz 采样率下实时处理，且设备可能由电池供电。模型推理时间直接影响功耗——推理越快，MCU 可以越快进入低功耗模式。Edge Impulse 的 EON Tuner 会自动评估模型在目标设备上的 RAM/Flash/延迟。
  • 通信与隐私：边缘部署的核心动机之一是减少数据传输。异常检测应在本地完成，仅上传异常事件（而非原始波形）。这要求模型具备足够的灵敏度，避免漏报导致事故，同时控制误报率以减少无效通信。
方法 内存占用 推理延迟（@100MHz MCU） 适用场景 Edge Impulse 支持
统计（Gaussian） < 1KB < 0.1ms 低维特征、近似高斯分布 内置模块
距离（K-Means 近似） 几 KB（簇中心） 0.5-2ms 多模态分布、中等维度 需自定义
密度（LOF 近似） 几十 KB 5-20ms 局部异常敏感场景 需自定义
重构（AE） 10-100KB 1-10ms（INT8 量化后） 高维非线性特征 内置模块

3.5 案例拆解：旋转机械振动异常检测的算法选型

某工厂需要对一台离心泵进行预测性维护，监测其轴承振动。传感器为三轴加速度计（采样率 4kHz），Edge Impulse 项目已采集 10 小时正常工况数据。目标是在 STM32F446（Cortex-M4, 180MHz, 512KB Flash, 128KB RAM）上实现实时异常检测。

初始现象与约束：设备正常运行时振动频谱以 1 倍频（29.5Hz）和 2 倍频为主，但现场存在负载波动（流量变化导致振动幅值变化），且环境温度影响传感器灵敏度。工程师需要区分"正常波动"与"轴承早期磨损"（表现为 3-5kHz 高频段的能量上升）。

关键输入数据与特征：对每帧 1024 点（256ms）数据计算 FFT，提取 10 个频段能量特征（0-0.5kHz, 0.5-1kHz, ..., 4.5-5kHz），并额外加入 RMS 值和峰值因子作为时域特征，共 12 维特征向量。

分析判断过程：

  1. 首先尝试统计方法（Gaussian AD）。但验证发现，由于负载波动，特征并非严格高斯分布，AUC 仅为 0.82，误报率偏高。
  2. 改用 AE 模型（隐藏层 8 维，ReLU 激活）。训练后验证集 AUC 提升至 0.93，但模型大小约 45KB，推理延迟约 8ms（浮点），在目标 MCU 上可接受。
  3. 进一步使用 EON Tuner 进行 INT8 量化，模型压缩至 12KB，推理延迟降至 2.3ms，AUC 仅下降 0.01。

实际操作与结果：最终选择量化后的 AE 模型。在部署时设置异常评分阈值为训练集重构误差的 99.9 百分位数（即正常数据中只有 0.1% 会超过该阈值）。现场运行 3 个月后，成功提前 7 天预警了轴承磨损（高频段能量持续上升），避免了非计划停机。

风险与代价：AE 模型对"未见过的正常工况"（如极端负载）可能产生误报。为此，工程师在部署后持续收集边缘数据，每两周用新数据微调阈值。此外，量化过程引入了轻微精度损失，需在验证集上确认漏报率未上升。

常见误区提醒：① 不要直接使用默认阈值（如 0.5），必须基于训练集评分分布设置百分位阈值；② 不要忽略上下文特征（如转速、温度），否则模型会将正常工况变化误判为异常；③ 不要盲目追求高 AUC 而选择复杂模型，必须评估目标 MCU 的 RAM/Flash 余量；④ 量化后必须重新验证阈值，因为量化会改变评分分布。

3.6 本章总结与复盘

异常检测基础理论的核心在于理解"正常边界"的概念。点异常、上下文异常和集体异常分别对应不同的特征工程策略；统计、距离、密度和重构四类方法各有优劣，在边缘部署时必须综合考量内存、算力、实时性和功耗。Edge Impulse 提供了 Gaussian AD 和 AE 两种内置模块，分别适用于低维高斯分布和高维非线性特征场景。在实际项目中，建议遵循以下流程：

  • 步骤一：明确异常类型（点/上下文/集体），确定是否需要引入上下文特征或时间窗口。
  • 步骤二：提取有区分度的特征（频域、时域、统计量），并做归一化。
  • 步骤三：使用 Edge Impulse 分别训练 Gaussian AD 和 AE 模型，在验证集上对比 AUC 和误报率。
  • 步骤四：使用 EON Tuner 评估目标设备资源占用，必要时进行量化。
  • 步骤五：基于训练集评分分布设置初始阈值，并在部署后持续监控误报/漏报，动态调整。
← 上一章 📖 返回目录 下一章 →