4. 数据探索与预处理
在Edge Impulse中完成数据采集后，我们面对的是未经审视的原始数据。这些数据可能包含环境噪声、无效片段、采样率不一致、类别不平衡等问题。如果直接将原始数据送入模型训练，轻则导致模型收敛缓慢、过拟合，重则使模型在真实部署时完全失效。本章将系统讲解数据探索与预处理的核心方法论，涵盖数据分布可视化、裁剪、重采样、滤波与数据增强五大关键操作，帮助您建立一套可复用的数据质量提升流水线。
上图展示了Edge Impulse数据预处理的标准流水线。整个流程从数据探索开始，依次经过裁剪、重采样、滤波，最后通过数据增强生成高质量训练集。值得注意的是，预处理并非一次性操作，而是需要根据模型验证结果反复迭代调优的过程。下面我们将逐一深入每个环节的具体实施方法。
4.1 数据探索：理解数据分布与质量基线
核心原理：数据探索是预处理的第一步，其目标不是修改数据，而是全面了解数据的“健康状况”。在Edge Impulse中，每个数据样本都包含时间序列数据（如加速度、陀螺仪、麦克风波形）和对应的标签。数据探索需要回答三个关键问题：各类别样本数量是否均衡？每个样本的时长和采样率是否一致？数据中是否存在明显的异常片段（如传感器饱和、长时间静默、突变尖峰）？
判断方法与操作流程：Edge Impulse的Dashboard页面提供了数据分布的可视化概览。您可以通过以下步骤进行系统探索：
- 类别分布检查：在Dashboard中查看每个标签的样本数量柱状图。若某类样本数量少于最丰富类别的50%，则需要在后续通过增强或补充采集来平衡。
- 样本时长与采样率核对：进入“Raw data”标签页，随机抽取5-10个样本，检查其时间轴长度和采样率标注。不同设备采集的数据可能混用不同采样率（如IMU常见100Hz，麦克风常见16kHz），必须统一。
- 波形可视化扫描：利用Edge Impulse内置的波形查看器，逐类浏览样本。重点关注：是否存在全零或恒定值的死样本？是否存在超出传感器量程的削波现象？是否存在与目标动作无关的随机尖峰？
4.2 裁剪与重采样：统一数据时间结构
核心原理：裁剪（Cropping）解决的是样本时长不一致问题，重采样（Resampling）解决的是采样率不一致问题。两者共同确保所有输入样本具有相同的维度，这是训练深度学习模型（尤其是CNN）的基本前提。Edge Impulse要求所有样本在送入训练前必须具有完全相同的“窗口长度”（Window Length）和“采样率”（Sample Rate）。
操作流程：在Edge Impulse的“Create impulse”页面中，您可以设置固定的窗口大小和滑动步长。具体操作如下：
- 确定窗口长度：根据动作或事件的持续时间设定。例如，手势识别通常取1-2秒窗口，语音命令取1秒，机械故障诊断取0.1-0.5秒。窗口过短会丢失上下文，过长则引入冗余信息。
- 执行裁剪：对于时长超过窗口的样本，Edge Impulse会按滑动步长（通常为窗口的50%-75%）自动切分为多个子样本。对于时长不足的样本，系统会提示错误，需要删除或通过填充（如重复边缘值）补齐。
- 统一采样率：在“Resampling”选项中，将目标采样率设置为所有设备支持的最低值或项目标准值。例如，若部分数据为100Hz，部分为200Hz，统一重采样至100Hz。重采样算法默认使用线性插值，对于音频数据建议使用更高质量的带限插值。
| 场景 | 推荐窗口长度 | 推荐采样率 | 说明 |
|---|---|---|---|
| 关键词唤醒（语音） | 1秒 | 16kHz | 覆盖完整音节，保留频率细节 |
| 人体活动识别（IMU） | 2秒 | 50Hz | 捕捉动作周期，降低计算量 |
| 电机故障诊断（振动） | 0.5秒 | 2kHz | 保留高频冲击特征 |
| 环境声音分类 | 2-3秒 | 8kHz | 平衡频率范围与数据量 |
4.3 滤波：去除噪声与趋势干扰
核心原理：滤波是提升信噪比的关键手段。传感器数据中常混入两类干扰：一是高频噪声（如电磁干扰、机械振动谐波），二是低频趋势（如温度漂移、重力分量）。Edge Impulse的“Spectral Analysis”和“Signal Processing”模块提供了多种滤波选项，包括高通、低通、带通滤波以及中值滤波。
判断方法与参数选择：滤波参数的选择应基于信号的频谱分析。在Edge Impulse的“Raw data”页面，点击“FFT”按钮查看样本的频谱图。根据频谱特征确定截止频率：
- 低通滤波：若目标信号频率低于100Hz，而噪声集中在1kHz以上，可设置截止频率为150Hz，有效去除高频毛刺。
- 高通滤波：对于加速度计数据，重力分量产生约1Hz的低频偏置。设置高通截止频率为0.5Hz可消除重力影响，突出动态加速度。
- 带通滤波：当目标信号处于特定频带（如电机轴承故障特征频率在500Hz-2kHz），带通滤波可同时抑制低频振动和高频噪声。
// Edge Impulse 滤波配置示例（在DSP模块中）
// 输入：原始加速度信号，采样率100Hz
// 目标：去除重力分量（低频）和随机噪声（高频）
// 配置：
// 高通滤波器：截止频率 0.5Hz，阶数 2
// 低通滤波器：截止频率 30Hz，阶数 4
// 预期效果：保留人体动作的0.5-30Hz有效频带4.4 数据增强：扩充样本多样性与平衡类别
核心原理：数据增强通过对原始样本施加不影响语义标签的变换，生成新的训练样本。其核心价值在于：一是解决样本量不足问题，二是提升模型对真实环境变化的鲁棒性。Edge Impulse的“Data Augmentation”功能支持时域变换（时间偏移、缩放）、频域变换（噪声注入、滤波模拟）和组合变换。
常用增强策略与适用场景：
| 增强方法 | 参数示例 | 适用场景 | 注意事项 |
|---|---|---|---|
| 时间偏移（Time Shift） | 偏移范围 ±20%窗口长度 | 语音命令、手势识别 | 偏移过大可能截断关键特征 |
| 时间缩放（Time Stretch） | 缩放因子 0.8-1.2 | 人体活动识别 | 改变动作速度但保持类别语义 |
| 高斯噪声注入 | SNR 20-30dB | 工业振动、环境声音 | 噪声过强会淹没信号特征 |
| 幅值缩放 | 缩放系数 0.9-1.1 | 所有传感器数据 | 模拟传感器灵敏度差异 |
案例拆解：在智能家居语音唤醒项目中，初始采集了500条“唤醒词”和1500条“其他语音”。类别严重不平衡。我们采用以下增强策略：
- 对“唤醒词”类别：应用时间偏移（±15%）和噪声注入（SNR 25dB），将样本扩充至1500条。
- 对“其他语音”类别：仅应用轻微幅值缩放（0.95-1.05），保持原始多样性。
- 结果对比：增强前模型对“唤醒词”召回率仅78%，增强后提升至96%，且误唤醒率未显著上升。
4.5 常见误区与总结复盘
误区一：跳过数据探索直接预处理。很多开发者直接套用滤波和增强参数，却忽略了数据中存在的死样本、错标样本和类别失衡。这会导致模型在“垃圾数据”上学习，后续调优事倍功半。
误区二：过度依赖滤波。滤波参数设置不当会引入相位失真或振铃效应。例如，高阶高通滤波器在信号起始处会产生瞬态过冲，若窗口较短，该过冲可能占据样本的20%以上，严重污染特征。
误区三：增强比例失衡。对少数类进行过度增强（如复制粘贴式增强）会导致模型对特定增强模式过拟合，在真实数据上性能反而下降。建议增强后的类别样本数不超过最丰富类别的1.5倍。