4、数据标注与预处理：在Edge Impulse中标注数据、划分训练/测试集、应用滤波、归一化、裁剪等预处理操作
在端侧机器学习项目中，数据质量直接决定模型性能的上限。Edge Impulse作为端侧AI开发平台，其核心优势之一在于将数据标注、数据集划分、信号预处理等环节集成到可视化工作流中，使开发者无需编写大量底层代码即可完成从原始传感器数据到高质量训练集的全流程构建。本章将系统讲解在Edge Impulse中完成数据标注、训练/测试集划分以及滤波、归一化、裁剪等预处理操作的方法论与实战要点。
4.1 数据标注：从原始信号到有监督样本
4.1.1 核心原理：标注的本质与粒度
数据标注是将原始传感器数据映射到预定义类别标签的过程，其本质是建立输入信号与目标语义之间的对应关系。在Edge Impulse中，标注粒度分为三种：样本级标注（整个样本属于单一类别）、时间片段标注（在连续时间序列中标记特定事件区间）和区域标注（针对图像或频谱图的局部区域）。选择何种粒度取决于任务类型——异常检测通常需要时间片段标注，而关键词识别则采用样本级标注即可。
4.1.2 操作流程：Edge Impulse标注实操
- 创建标签体系：在Dashboard的"Labeling"面板中定义类别名称，建议使用语义化命名（如"idle"、"walking"、"falling"），避免使用数字编号。
- 导入原始数据：支持CSV、WAV、JPG等格式，时间序列数据需包含时间戳列和传感器通道列。
- 标注执行：在"Data acquisition"页面选择样本，使用波形可视化工具框选事件区域，为每个片段分配标签。Edge Impulse支持快捷键操作（如"1"标记为类别A，"2"标记为类别B），大幅提升标注效率。
- 标注审核：利用"Label quality"功能检查标注一致性，对模糊样本进行二次确认。
4.1.3 案例拆解：工业电机振动异常检测标注
某工厂需部署电机轴承故障监测系统，使用加速度传感器采集振动数据。初始采集了2小时连续数据，包含正常运转、轻微磨损、严重故障三种状态。标注过程中发现：
- 初始现象：连续数据中故障事件仅占5%，直接训练导致类别严重不平衡。
- 分析判断：采用时间片段标注，将连续数据切分为2秒窗口，仅保留包含完整故障特征的片段。
- 操作步骤：在Edge Impulse中导入原始CSV → 使用波形缩放定位故障起始点 → 框选2秒区间并标记为"fault_severe" → 对正常段随机抽样标记为"normal"。
- 结果对比：标注后数据集包含正常样本200个、轻微故障80个、严重故障60个，通过数据增强（添加噪声、时间偏移）将后两类扩充至200个，实现类别均衡。
4.1.4 常见误区与总结
标注质量直接决定模型上限，建议投入总项目时间的30%-40%用于标注工作。使用Edge Impulse的标注统计功能定期检查各类别样本数量分布，及时补充稀缺类别数据。
4.2 训练/测试集划分：科学评估模型泛化能力
4.2.1 核心原理：划分策略与数据泄露
Edge Impulse默认按80%/20%比例随机划分训练集和测试集，但随机划分在时间序列数据中可能导致数据泄露——相邻时间窗口的数据高度相关，若同时出现在训练集和测试集中，模型评估结果将过于乐观。正确的做法是采用按时间顺序划分或按设备/会话划分，确保测试集数据完全独立于训练集。
4.2.2 划分方法对比
| 划分策略 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 随机划分 | 独立同分布数据（如图像） | 实现简单，类别分布均匀 | 时间序列中易造成数据泄露 |
| 按时间划分 | 连续传感器流数据 | 模拟真实部署场景 | 可能因时间段差异引入分布偏移 |
| 按设备/用户划分 | 多设备采集数据 | 验证跨设备泛化能力 | 需保证每设备样本量充足 |
| 分层采样 | 类别不平衡数据 | 保持各类别比例一致 | 需预先统计类别分布 |
4.2.3 操作流程：在Edge Impulse中配置划分
- 进入"Data acquisition"页面，点击右上角"Perform train/test split"。
- 选择划分模式：Edge Impulse提供"Balanced"（分层采样）和"Preserve order"（按时间顺序）两种模式。
- 设置训练集比例（建议70%-80%），点击"Save split"生成划分结果。
- 在"Dashboard"中查看训练集/测试集的类别分布柱状图，确认无极端不平衡。
4.2.4 案例拆解：可穿戴设备活动识别划分优化
某团队开发基于加速度计的活动识别模型（站立/行走/跑步/上下楼），采集了10名受试者各30分钟数据。初始随机划分后模型准确率达97%，但部署到新用户时准确率骤降至71%。分析发现：
- 根因分析：随机划分导致同一受试者的数据同时出现在训练集和测试集，模型记住了个体特征而非通用模式。
- 解决方案：改为按受试者划分——将8名受试者数据作为训练集，2名作为测试集。
- 结果对比：准确率降至82%，但更真实反映跨用户泛化能力。进一步通过数据增强（添加不同佩戴位置的传感器偏移）将准确率提升至89%。
4.3 预处理操作：滤波、归一化与裁剪
4.3.1 核心原理：预处理的目的与顺序
预处理的目标是去除噪声、统一尺度、提取有效信息段，从而降低模型学习难度。Edge Impulse的预处理流程遵循固定顺序：裁剪 → 滤波 → 归一化。裁剪先减少数据量，滤波去除无关频率成分，归一化消除量纲差异。预处理参数（如滤波器截止频率、归一化均值/标准差）必须仅从训练集计算，再应用于测试集，避免数据泄露。
4.3.2 滤波操作：频率域的信号净化
Edge Impulse的"Signal processing"模块提供多种滤波器：
- 低通滤波：保留低频成分，适用于去除高频噪声（如工频干扰50Hz以上）。
- 高通滤波：去除基线漂移和低频趋势，适用于加速度计的重力分量消除。
- 带通滤波：保留特定频带，适用于肌电信号（20-500Hz）或振动特征频段。
- 陷波滤波：去除特定频率干扰（如50Hz市电），需谨慎使用以免损失有效信息。
// Edge Impulse滤波配置示例（以低通滤波为例）
滤波器类型：Butterworth低通
阶数：4阶
截止频率：20Hz
采样率：100Hz
应用范围：所有训练集和测试集样本4.3.3 归一化操作：尺度统一与数值稳定
归一化方法选择需结合数据分布特征：
| 方法 | 公式 | 适用场景 | 注意事项 |
|---|---|---|---|
| Z-score标准化 | (x-μ)/σ | 数据近似正态分布 | 对异常值敏感 |
| Min-Max归一化 | (x-min)/(max-min) | 数据有明确边界 | 受极端值影响大 |
| 鲁棒缩放 | (x-中位数)/IQR | 含异常值的数据 | 计算量稍大 |
在Edge Impulse中，归一化参数在"Processing block"中配置，系统自动计算训练集的统计量并缓存，测试集推理时使用相同参数。
4.3.4 裁剪操作：窗口切片与样本对齐
裁剪包括两个层面：时间窗口裁剪（将连续流切分为固定长度片段）和有效区域裁剪（去除静默段或无效段）。窗口长度选择需权衡：窗口过短丢失上下文信息，过长增加计算量且可能包含多个事件。经验法则：窗口长度应至少包含2-3个完整事件周期，重叠率设为50%以增强样本多样性。
4.3.5 案例拆解：语音关键词识别预处理链路
开发"唤醒词"检测模型（识别"Hey Device"），原始音频为16kHz采样率，每段录音5秒。预处理链路设计如下：
- 裁剪：使用能量检测去除前后静音段，保留有效语音段（平均1.2秒）。
- 滤波：应用带通滤波（300Hz-3400Hz）去除低频环境噪声和高频杂音。
- 归一化：计算训练集所有样本的均值和标准差，执行Z-score标准化。
- 特征提取：将预处理后的信号转换为Mel频谱图（40个Mel频带，25ms窗长，10ms步长）。
通过上述预处理，模型在测试集上的准确率从82%提升至94%，且对背景噪声的鲁棒性显著增强。关键经验：滤波参数需根据实际环境噪声频谱调整，建议采集不同场景的噪声样本进行验证。
4.4 预处理流程的工程化验证与调优
4.4.1 验证方法：预处理效果评估
预处理效果不能仅凭主观观察判断，需建立量化评估指标：
- 信噪比（SNR）：滤波前后信号功率比，目标提升至少10dB。
- 类别可分性：使用PCA或t-SNE可视化预处理后的特征分布，观察不同类别是否形成清晰聚类。
- 消融实验：分别移除滤波、归一化、裁剪步骤，对比模型准确率变化，识别关键预处理环节。
4.4.2 调优策略：参数搜索与验证
Edge Impulse的"Processing"页面支持参数网格搜索，可自动测试不同滤波器截止频率、窗口长度组合。建议采用以下调优流程：
- 设定参数范围：截止频率[10,20,30,50]Hz，窗口长度[0.5,1.0,2.0]秒。
- 运行批量实验，记录每组参数的验证集准确率。
- 选择准确率最高且方差最小的参数组合。
- 在测试集上最终验证，确认无过拟合。
4.4.3 常见误区与复盘
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 先归一化再划分数据集 | 测试集信息泄露，评估结果虚高 | 先划分，再在训练集上计算归一化参数 |
| 滤波器阶数过高 | 引入相位失真，信号波形畸变 | 优先使用2-4阶Butterworth滤波器 |
| 窗口长度固定不变 | 事件时长变化大时，窗口无法完整覆盖 | 根据事件时长分布设置自适应窗口 |
| 忽略预处理的计算开销 | 端侧部署时延迟超标 | 在目标硬件上基准测试预处理耗时 |
数据标注与预处理是端侧AI项目中最耗时但最具杠杆效应的环节。通过Edge Impulse的可视化工作流，开发者可以将精力集中在业务理解与参数调优上，而非底层代码实现。建议在项目启动初期就建立标准化的标注规范和预处理模板，随着数据积累持续迭代优化，最终形成可复用的数据处理流水线。记住：高质量的数据处理链是模型在端侧稳定运行的基石，投入在此处的时间将在模型训练和部署阶段获得十倍回报。