4、数据质量评估方法：可视化检查、异常值检测、数据分布分析、传感器噪声识别
在Edge Impulse的机器学习流水线中，数据质量直接决定了模型性能的上限。无论后续采用多么先进的神经网络结构或超参数优化策略，如果输入的训练数据存在标签错位、传感器漂移、异常尖峰或分布失衡，最终部署到板端时都会表现为推理精度下降、误触发频繁或行为不可预测。本章聚焦于四类核心评估手段——可视化检查、异常值检测、数据分布分析与传感器噪声识别，帮助你在采集阶段就建立系统化的数据质量门禁，避免“垃圾进、垃圾出”的工程陷阱。
上图展示了数据质量评估的完整闭环：原始数据从采集端进入后，需要同时经过四条评估路径，最终汇合为质量报告、清洗数据集、采集策略调整和板端稳定性验证四个输出。值得注意的是，这四个维度并非串行流程，而是并行交叉的检查手段——例如可视化检查中发现的异常波形，往往需要结合异常值检测的统计指标来确认；而数据分布分析中暴露的类别不均衡，又可能追溯到传感器噪声导致的误触发。下面逐一展开每个维度的具体方法。
4.1 可视化检查：从波形到标签的全面体检
核心原理：可视化检查是数据质量评估的第一道防线，其本质是利用人类视觉系统对模式、趋势和异常的天然敏感度，快速发现统计指标难以捕捉的问题。在Edge Impulse中，数据以时间序列形式存储，每个样本点包含时间戳、传感器通道值和标签。可视化检查的目标是确认三个层面的一致性：波形形态是否符合物理预期、标签边界是否与事件起止对齐、多通道数据是否存在同步偏差。
操作流程：在Edge Impulse的Data Acquisition页面，点击某个数据样本即可展开时域波形图。建议按以下步骤执行系统化检查：
- 逐通道波形审查：对加速度计X/Y/Z轴、陀螺仪、麦克风等每个通道单独绘制波形，观察是否存在削顶（信号超出量程）、平线（传感器死机）、周期性尖峰（电源干扰）等异常形态。
- 标签边界验证：在波形图上叠加标签区间（通常用不同颜色背景标识），确认每个标签的起始点是否对应实际动作的起始时刻。常见问题包括标签提前或滞后200-500ms、标签长度不一致、同一类别标签间存在重叠。
- 多通道同步检查：将同一时间段内不同通道的波形上下堆叠显示，检查是否存在时间偏移。例如加速度计和陀螺仪如果采样时钟不同步，会导致特征提取时通道间错位。
- 频谱图辅助：对疑似异常片段执行FFT变换，观察频谱能量分布是否合理。例如振动信号在50Hz处出现明显峰值，可能暗示工频干扰。
4.2 异常值检测：统计方法与领域知识结合
核心原理：异常值检测旨在识别那些显著偏离正常数据分布的样本点。在传感器数据中，异常值可能来源于瞬时冲击（如设备被碰撞）、电磁干扰、传感器饱和或数据传输错误。Edge Impulse提供了内置的异常检测工具，但理解其数学原理有助于正确设置阈值。
常用的异常值检测方法包括：
| 方法 | 原理 | 适用场景 | 局限性 |
|---|---|---|---|
| Z-score | 计算样本与均值的标准差倍数，通常阈值设为3 | 数据近似正态分布时 | 对非正态分布敏感，均值本身可能被异常值污染 |
| IQR（四分位距） | 以Q1-1.5×IQR和Q3+1.5×IQR为边界 | 偏态分布、存在离群点 | 对样本量敏感，小样本时IQR不稳定 |
| DBSCAN聚类 | 基于密度聚类，低密度点视为异常 | 多维特征空间中的异常检测 | 需要调参（eps和min_samples） |
| 滑动窗口统计 | 在时间窗口内计算局部均值和方差 | 检测突变点或瞬态异常 | 窗口大小影响检测灵敏度 |
操作流程：在Edge Impulse中，可以通过“Data Quality”页面查看每个样本的异常分数。建议采用两级策略：首先使用全局统计方法（如Z-score）筛选出极端离群样本，然后对候选样本进行人工复核。对于时间序列数据，更推荐使用滑动窗口方法，因为传感器数据的异常往往是局部性的——一个持续200ms的电压跌落可能不会显著改变全局均值，但足以导致模型误判。
4.3 数据分布分析：类别均衡与特征空间探索
核心原理：数据分布分析关注两个层面：一是类别层面的样本数量均衡性，二是特征空间中的样本分布形态。类别不均衡会导致模型偏向多数类，而特征空间中的分布异常（如某个类别的样本聚集在特征空间的角落）则暗示采集场景覆盖不足。
分析方法：
- 类别统计：在Edge Impulse的Dashboard页面查看每个标签的样本数和总时长。理想情况下，每个类别的样本时长差异不应超过2倍。如果“静止”类别有10分钟数据而“跌倒”只有30秒，模型将严重偏向静止。
- 特征分布直方图：对提取后的特征（如均值、方差、FFT峰值）绘制直方图，观察是否存在双峰分布或长尾现象。双峰分布可能暗示同一类别下存在两种不同的子模式（如走路分为快走和慢走）。
- PCA/t-SNE降维可视化：将高维特征投影到2D平面，用不同颜色标记不同类别。理想情况下，不同类别应形成清晰分离的簇；如果类别间严重重叠，说明特征区分度不足或数据采集场景过于相似。
4.4 传感器噪声识别：从底噪到突发干扰
核心原理：传感器噪声是数据质量问题的最大来源，其类型多样且难以完全消除。在嵌入式系统中，噪声主要分为三类：热噪声（由电子运动产生，表现为高斯白噪声）、工频干扰（50/60Hz及其谐波，来源于电源线耦合）、突发脉冲（由开关切换、静电放电或无线发射引起）。识别噪声的关键在于区分“正常信号”和“噪声污染”——前者具有物理意义，后者是测量误差。
识别方法：
- 静态底噪测量：将传感器置于静止状态，采集30秒以上数据，计算各通道的标准差。该值即为底噪水平。如果加速度计静止时标准差超过±0.05g，说明传感器性能不佳或电源纹波过大。
- 频谱分析：对静止数据执行FFT，观察频谱中是否存在明显的离散峰值。50Hz附近的峰值通常为工频干扰，而宽频抬升则可能是电源开关噪声。
- 时域脉冲检测：在波形中寻找持续时间极短（<1ms）、幅值远超正常范围的尖峰。这类脉冲往往由数字电路开关引起，可通过增加去耦电容或屏蔽层解决。
- 多板对比测试：使用同一型号的多个开发板采集相同场景数据，对比噪声水平。如果某块板的噪声明显高于其他板，说明该板存在硬件缺陷（如焊接不良、元件老化）。
4.5 常见误区与总结复盘
在数据质量评估实践中，工程师常陷入以下误区：
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 只关注样本数量，忽视样本多样性 | 模型过拟合到特定采集条件 | 确保每个类别覆盖不同时间、环境、操作者 |
| 过度清洗，删除所有“看起来奇怪”的数据 | 丢失真实边缘案例 | 保留异常样本，通过标签修正或数据增强处理 |
| 忽略时间相关性 | 模型无法捕捉时序依赖 | 检查样本的时间戳连续性，避免数据拼接错位 |
| 在开发板上评估噪声，忽视目标硬件差异 | 部署后性能下降 | 在目标硬件上重复噪声测试 |
总结复盘：数据质量评估不是一次性的检查动作，而是贯穿整个项目生命周期的持续过程。建议建立“采集-评估-修正-再采集”的循环机制：每次采集新数据后，先运行自动化的质量检查脚本（包括统计指标和规则判断），再对可疑样本进行人工可视化审查。在Edge Impulse中，可以利用其API接口编写自定义质量检查流水线，将数据质量门禁集成到CI/CD流程中。最终目标是让数据质量评估成为团队的习惯，而非项目验收时的补救措施。