3. 数据质量基础
在Edge Impulse项目验收过程中，数据质量是决定模型能否从实验室走向板端稳定运行的第一道关卡。很多开发者习惯将精力集中在模型架构或调参上，却忽略了数据本身存在的系统性偏差。事实上，对于资源受限的MCU或NPU平台，模型容量有限，其性能上限几乎完全由训练数据的质量决定。本章将围绕数据采集规范、标注准确性、类别平衡与数据增强四个核心维度，剖析它们对模型指标（准确率、F1分数、鲁棒性）以及板端部署后稳定性的深层影响，并给出可落地的验收检查方法与操作流程。
3.1 数据采集规范：从源头控制偏差
核心原理
数据采集规范决定了模型所见世界的“视野”。在Edge Impulse项目中，传感器数据的采集不仅仅是“拿着板子录一段数据”，而是需要严格定义采集环境、设备状态、采样频率、量程范围以及数据切片的标注方式。如果采集阶段引入偏差，后续任何算法层面的补救都难以彻底消除。例如，在振动故障诊断项目中，如果加速度计只在空载状态下采集数据，模型将无法识别负载变化带来的频率漂移；在语音唤醒词项目中，如果麦克风始终在安静室内录制，部署到嘈杂环境时准确率会急剧下降。
判断方法与操作流程
验收时，应重点检查以下数据采集规范是否满足要求：
- 采样率与分辨率：确认采样率满足奈奎斯特采样定理，且分辨率（位深）不低于实际信号动态范围的需求。例如，音频项目通常需要16kHz/16bit，而振动监测可能需要2kHz-4kHz采样率。
- 传感器放置与固定：检查传感器在板端的安装位置是否与训练时一致。加速度计的方向、麦克风的朝向、电极的贴附位置都会影响信号形态。
- 场景覆盖矩阵：要求数据采集覆盖至少3种不同环境（如安静/嘈杂、低温/高温、静止/运动），每种环境下的样本量应占总量的20%-30%。
- 时间戳与连续性：确保数据采集过程连续，避免因手动启停导致的数据段边界突变。Edge Impulse的Studio中应检查原始数据的时间序列是否平滑。
案例拆解：工业电机故障诊断的数据采集偏差
某团队开发电机轴承故障诊断模型，在实验室使用高精度加速度计采集了正常、内圈故障、外圈故障三类数据，每类500个样本，模型在验证集上准确率达到98%。然而部署到工厂现场后，准确率骤降至61%。复盘发现：实验室采集时传感器通过螺栓刚性连接在电机壳体上，而现场安装时使用了磁吸座，导致高频振动信号衰减严重；此外，现场电机负载从空载变为额定负载，振动能量分布发生偏移。该案例说明，数据采集规范必须与最终部署场景严格对齐，否则模型指标只是“实验室幻觉”。
3.2 标注准确性：标签质量决定学习上限
核心原理
标注准确性直接影响模型学习的“目标函数”。在Edge Impulse中，标注通常以时间窗口（Window）为单位进行。如果标注边界模糊、类别标签错误或存在大量噪声标签，模型会学习到错误的特征映射。对于分类任务，标注错误会导致混淆矩阵中特定类别的精确率与召回率异常；对于回归任务（如姿态估计），标注偏移会直接放大预测误差。
判断方法与操作流程
标注准确性的验收应从三个层面展开：
- 标签一致性：由两名以上标注员分别对同一批数据进行标注，计算标注间一致性（如Cohen's Kappa系数），要求Kappa值大于0.8。
- 边界精度：检查Edge Impulse中每个样本的“Label”时间范围是否与信号特征变化点对齐。例如，在“挥手”动作中，标签起点应恰好落在加速度波形开始剧烈变化的采样点附近，偏差不应超过窗口长度的10%。
- 错误标签排查：利用训练后的模型对训练集进行预测，将预测结果与原始标签不一致的样本提取出来，人工二次审核。若错误标签比例超过2%，则需重新标注。
| 标注问题类型 | 典型表现 | 对模型指标的影响 | 验收阈值 |
|---|---|---|---|
| 标签错位 | 动作开始前0.5s已打上标签 | 降低精确率，增加误触发 | 边界偏移 < 窗口长度10% |
| 类别混淆 | 将“走路”标为“跑步” | 混淆矩阵中两类互相渗透 | 错误率 < 1% |
| 漏标 | 部分有效事件未打标签 | 降低召回率，模型漏检 | 漏标率 < 2% |
| 背景噪声误标 | 将环境噪声标为目标事件 | 增加假阳性，降低鲁棒性 | 误标率 < 0.5% |
3.3 类别平衡：防止模型“偏科”
核心原理
类别不平衡是Edge Impulse项目中极为常见的问题。当某一类样本数量远多于其他类时，模型会倾向于将预测结果推向多数类，以降低整体损失函数。例如，在工业异常检测中，正常样本占95%，故障样本仅占5%，模型可能将所有样本都预测为“正常”，从而获得95%的准确率，但F1分数极低。在板端部署后，这种模型对故障的漏报会造成严重安全事故。
判断方法与操作流程
在Edge Impulse的“Dashboard”页面，可以直观查看每个类别的样本数量。验收时需执行以下步骤：
- 计算不平衡比：最大类别样本数除以最小类别样本数，若比值大于5:1，则判定为严重不平衡。
- 检查混淆矩阵：在“Model Testing”页面查看每个类别的召回率。若某一类召回率低于其他类20个百分点以上，即使整体准确率较高，也应判定为不合格。
- 应用类别权重：在Edge Impulse的“Machine Learning”配置中，可以设置“Class weights”参数，为少数类分配更高权重。建议初始权重设置为多数类样本数/少数类样本数。
案例拆解：语音命令识别中的类别平衡策略
某智能家居项目需要识别“开灯”“关灯”“调亮”“调暗”四个命令，外加“未知”类别。初始采集数据中，“开灯”和“关灯”各占30%，“调亮”和“调暗”各占15%，“未知”占10%。训练后模型对“调亮”的召回率仅为62%，而“开灯”召回率达95%。通过Edge Impulse的“Class weights”功能，将“调亮”和“调暗”的权重提升至2.0，“未知”权重设为1.5，重新训练后，“调亮”召回率提升至84%，整体宏平均F1从0.78提升至0.87。同时，在数据采集阶段补充了“调亮”和“调暗”的样本，使各类别样本数趋于均衡（最大/最小比值从3:1降至1.5:1），最终板端实测误触发率降低了40%。
3.4 数据增强：有限样本的泛化杠杆
核心原理
数据增强通过对原始样本施加不影响语义标签的变换，生成新的训练样本，从而提升模型对噪声、环境变化和传感器差异的鲁棒性。在Edge Impulse中，数据增强通常在“Processing Block”之前或之后进行，但更推荐在原始信号层面进行增强，因为DSP特征提取后的增强会丢失时间结构信息。常见增强方法包括：添加高斯噪声、时间拉伸/压缩、幅度缩放、随机裁剪、频域掩蔽（SpecAugment）等。
判断方法与操作流程
验收数据增强效果时，应遵循以下流程：
- 建立基线：先使用原始数据训练一个基线模型，记录验证集准确率和F1分数。
- 逐步增强：每次添加一种增强方法，重新训练并对比指标。若指标提升超过1个百分点，则保留该增强；若指标下降，则移除。
- 验证集独立性：确保增强后的样本不会出现在验证集中。Edge Impulse的“Train/Test split”功能会自动划分，但需确认增强操作是在划分之后进行的。
- 板端泛化测试：将增强后的模型部署到板端，在未参与训练的新场景中测试。例如，在语音项目中，测试不同说话人的声音；在运动识别中，测试不同佩戴位置。
常见误区与总结复盘
在数据质量验收中，以下误区需要特别警惕：
- 误区一：数据越多越好。如果数据采集场景单一，增加样本量只会让模型过拟合到特定环境。正确做法是增加场景多样性，而非单纯堆叠样本数。
- 误区二：增强可以弥补采集缺陷。数据增强无法创造传感器未捕获的频率成分。如果采样率不足，增强后的数据依然无法恢复高频信息。
- 误区三：忽略验证集分布。如果验证集与训练集来自同一批次数据，模型指标会虚高。验收时应要求使用独立时间段采集的数据作为验证集。
- 误区四：类别平衡后忘记调整阈值。即使类别平衡，模型输出的概率阈值仍可能偏向多数类。在Edge Impulse的“Deployment”中，可以调整“Inference threshold”来优化板端表现。
总结而言，数据质量是Edge Impulse项目验收的基石。数据采集规范确保模型看到真实世界，标注准确性确保模型学到正确映射，类别平衡确保模型不偏科，数据增强确保模型在未知场景中依然稳定。在验收报告中，应至少包含数据采集环境记录表、标注一致性报告、类别分布直方图以及增强前后指标对比表。只有这四项基础扎实，后续的模型指标和板端稳定性才有讨论的意义。