数据预处理：去噪、滤波、归一化、缺失值处理与滑动窗口分割

在Edge AI传感器融合项目中，原始传感器数据几乎不可能直接送入模型训练。加速度计、陀螺仪、磁力计、压力传感器等器件在物理采样过程中，会不可避免地引入环境噪声、量化误差、温漂、瞬态冲击以及通信丢包导致的缺失值。如果跳过预处理直接建模，轻则降低异常检测的准确率，重则让模型学习到噪声模式而非真实物理规律。本章围绕去噪、滤波（低通/高通/带通）、归一化、缺失值处理、滑动窗口分割五个核心环节，构建一套适用于边缘端传感器融合的完整数据预处理流水线。

上图展示了从原始多传感器数据到异常检测模型的完整预处理链路。每个环节都有明确的输入输出接口和可调参数，工程实践中需要根据传感器特性、部署算力、实时性要求进行联合调优。下面逐一展开每个子模块的原理、操作方法和实战要点。

4.1 去噪与滤波：从信号中剥离物理真实

核心原理

传感器噪声主要分为三类：高频随机噪声（电子热噪声、量化噪声）、工频干扰（50/60Hz及其谐波）、低频漂移（温漂、零偏稳定性）。滤波的本质是设计一个频率选择性系统，保留目标频段的有用信号，衰减干扰频段。在Edge AI场景中，滤波器不仅要考虑频域性能，还要关注计算复杂度、相位延迟和内存占用。

操作流程

1. 频谱分析：对原始信号做FFT，观察噪声频段与有用信号频段是否重叠。若重叠严重，单纯滤波会损失信息，需考虑融合其他传感器。
2. 滤波器选型：MCU级别优先用一阶IIR（如巴特沃斯），系数固定，计算量小；若相位失真敏感（如姿态解算），用零相位滤波（离线）或Bessel滤波器（在线）。
3. 截止频率标定：通过实验或物理模型确定。例如人体活动识别，步行频率约1-3Hz，跑步约2-5Hz，低通截止设为10Hz可保留主要能量同时滤除高频抖动。
4. 延迟评估：IIR滤波器引入非线性相位，群延迟随频率变化。在实时异常检测中，若延迟超过50ms，需考虑FIR或前馈补偿。

4.2 归一化：让不同量纲特征可比

核心原理

传感器融合中，加速度计输出范围±16g，陀螺仪±2000°/s，磁力计±4900μT，三者量纲和数值范围差异巨大。若直接拼接特征向量，数值大的维度会主导距离计算或梯度更新，导致模型偏向某些传感器。归一化的目标是将所有特征映射到相似尺度，同时保留分布形状和异常信息。

操作流程

1. 统计量计算：在训练集上计算各特征的min/max或μ/σ，保存为JSON或二进制文件，部署时加载。
2. 统一变换：训练和推理必须使用完全相同的统计量，禁止在推理时重新计算。
3. 异常值截断：对超出3σ或1.5×IQR的值进行截断，防止极端值影响后续窗口特征。
4. 验证分布：归一化后绘制特征分布直方图，确认没有引入新的偏态。

4.3 缺失值处理：应对通信丢包与采样中断

核心原理

传感器数据在传输过程中可能因无线干扰、缓冲区溢出、传感器自检等原因产生缺失。缺失模式分为三种：随机缺失（个别采样点丢失）、连续缺失（通信中断数秒）、周期性缺失（传感器复用冲突）。处理策略需权衡插值精度与计算开销。

操作流程

1. 缺失检测：通过时间戳连续性判断，容忍1-2ms抖动，超过阈值标记为缺失。
2. 模式分类：统计连续缺失长度，若超过窗口长度的50%，建议丢弃该窗口而非插值。
3. 插值执行：对短缺失（<10个采样点）用线性插值；对长缺失且其他传感器可用时，用多变量回归。
4. 质量标记：在特征向量中增加"缺失比例"维度，让模型学习缺失模式与异常的相关性。

4.4 滑动窗口分割：构建时间序列样本

核心原理

异常检测模型需要输入固定长度的序列样本。滑动窗口将连续时间序列切割为重叠或非重叠的片段，每个片段作为一个独立样本。窗口长度决定模型感知的时间范围，步长控制样本密度和计算负载。窗口设计直接影响检测延迟和事件分辨率。

操作流程

1. 事件时长统计：分析历史异常数据，确定最小可检测事件长度。例如轴承点蚀产生的振动冲击持续约20ms，窗口至少覆盖3个完整冲击周期。
2. 窗口长度设定：取事件时长的2-5倍，保证上下文信息充足。人体跌倒约300-500ms，窗口设为1秒。
3. 步长与重叠率：实时检测场景，步长设为窗口的25%（重叠75%），平衡延迟与计算量。
4. 标签策略：若异常发生在窗口中间，用中心点标签；若在末尾，用末尾标签。中心点标签延迟更小，但需要未来数据，不适合流式处理。
5. 流式实现：在边缘端使用环形缓冲区，每次新数据到达时滑动一步，避免重复拷贝。

4.5 预处理流水线的工程化落地

完整的预处理流水线需要以模块化方式实现，每个模块可独立测试和替换。在边缘端，建议采用以下架构：

// 伪代码示例：预处理流水线
typedef struct {
    float acc[3], gyro[3], mag[3];
    uint32_t timestamp;
} SensorFrame;

typedef struct {
    float *buffer;      // 环形缓冲区
    uint32_t head, tail;
    uint32_t window_len, stride;
    float *norm_params; // 归一化统计量
} PreprocessPipeline;

void pipeline_process(PreprocessPipeline *pp, SensorFrame *frame) {
    // 1. 缺失检测与插值
    if (frame->timestamp - pp->last_ts > 5) {
        interpolate_missing(pp, frame);
    }
    // 2. 滤波（级联低通+高通）
    apply_butterworth(pp->filter, frame->acc, 3);
    // 3. 归一化
    for (int i = 0; i < 9; i++) {
        frame->data[i] = (frame->data[i] - pp->norm_params[i*2]) / pp->norm_params[i*2+1];
    }
    // 4. 写入环形缓冲区
    ring_buffer_push(pp->buffer, frame->data, 9);
    // 5. 窗口满时输出样本
    if (ring_buffer_full(pp->buffer, pp->window_len)) {
        extract_window(pp->buffer, pp->window_len, pp->output);
        ring_buffer_advance(pp->buffer, pp->stride);
    }
}

该流水线在Cortex-M4上运行，整体延迟小于2ms，内存占用约4KB（窗口1秒×100Hz×9轴×4字节）。每个模块都有独立的测试点（TP1-TP3），便于现场调试。

4.6 常见误区与复盘

• 误区一：滤波越干净越好。过度滤波会滤除异常特征，建议保留原始信号通道。
• 误区二：归一化在训练和推理时分别计算。这会导致数据分布不一致，模型失效。必须使用训练集统计量。
• 误区三：缺失值一律用0填充。0在传感器数据中可能代表有效测量值，会引入虚假信息。应使用前向填充或插值。
• 误区四：窗口重叠率越高越好。高重叠率增加计算量，且相邻样本高度相关，可能导致过拟合。建议重叠率不超过90%。
• 误区五：忽略时间戳对齐。多传感器融合时，各传感器采样时刻可能不同步，需先做时间戳插值对齐，再做窗口分割。

复盘一个失败案例：某团队在旋转机械监测中，使用低通滤波截止频率100Hz，但轴承故障特征频率在200-300Hz，导致所有故障样本被滤除，模型准确率仅50%。后通过频谱分析发现特征频段，将截止频率调整为500Hz，准确率提升至93%。这再次说明，预处理参数必须基于数据驱动，而非经验拍板。

在实际项目中，建议建立预处理参数记录表，包括每个参数的设定值、依据、验证结果，形成可追溯的工程文档。同时，在边缘端部署时加入参数热更新机制，允许远程调整滤波截止频率和窗口长度，以适应不同工况。