4、数据预处理与特征工程：信号处理模块（频谱、时域特征）、图像预处理（缩放、裁剪、归一化）、特征提取方法（MFCC、FFT等）及在Edge Impulse中的实现
在端侧机器学习项目中，原始传感器数据与图像数据几乎不可能直接送入神经网络。无论是加速度计的时域波形、麦克风的音频流，还是摄像头的视频帧，都包含大量冗余信息、噪声与尺度差异。数据预处理与特征工程的核心目标，是将原始信号转换为模型易于学习、且对目标任务最具判别力的特征表示。Edge Impulse作为端侧ML平台，将这一过程封装为可配置的"Processing Block"（处理模块），允许开发者通过可视化界面或代码方式完成从原始数据到特征向量的转换。本章将系统讲解信号处理模块（频谱与时域特征）、图像预处理（缩放、裁剪与归一化）、经典特征提取方法（MFCC、FFT等），并深入剖析其在Edge Impulse中的具体实现路径与调优策略。
4.1 信号处理模块：从时域到频域的特征工程
4.1.1 核心原理：时域与频域特征的本质
信号处理模块主要面向一维时序数据（如加速度计、陀螺仪、麦克风、压力传感器等）。时域特征直接对原始采样点进行统计计算，包括均值（反映直流分量）、方差（反映信号波动强度）、均方根值（RMS，反映有效能量）、过零率（反映频率粗糙度）、峰值因数（反映冲击特性）等。频域特征则通过傅里叶变换（FFT）将信号分解为不同频率分量的幅度与相位，从而揭示周期性成分、共振频率和谐波结构。对于端侧部署，频域特征往往比时域特征更具判别力，因为许多物理现象（如电机振动、人体步态、语音发音）都具有显著的频域模式。
在Edge Impulse中，信号处理模块被设计为"窗口化"操作：原始数据流被切分为固定长度的窗口（如每窗口100ms，步长20ms），每个窗口独立计算特征向量。窗口长度与步长的选择直接影响时间分辨率与频率分辨率——窗口越长，频率分辨率越高，但时间定位能力越差；步长越小，特征序列越密集，但计算量增大。
| 特征类型 | 典型特征 | 适用场景 | 计算复杂度 |
|---|---|---|---|
| 时域统计 | 均值、方差、RMS、峰值、过零率 | 运动检测、异常冲击 | 低（O(n)） |
| 频域统计 | FFT幅度谱、功率谱密度、谱质心 | 振动分析、音频分类 | 中（O(n log n)） |
| 时频特征 | 短时傅里叶变换（STFT）、小波系数 | 非平稳信号、瞬态检测 | 高（O(n log n)） |
| 自定义特征 | 峰值频率、带宽、谐波失真 | 特定物理模型 | 取决于实现 |
4.1.2 操作流程：在Edge Impulse中配置信号处理模块
- 创建Impulse：在Edge Impulse Studio中，点击"Create Impulse"，选择输入数据类型（如"Time series data"），设置窗口长度（建议从100ms开始）与步长（通常为窗口长度的50%）。
- 添加Processing Block：从左侧模块库中选择"Spectral Analysis"或"Spectral Features"（适用于频域）或"Raw Data"（直接输出原始窗口数据）。对于大多数运动传感器场景，推荐使用"Spectral Features"模块，它自动计算FFT幅度谱并提取统计特征。
- 配置参数：设置FFT点数（通常为窗口采样点数，如100ms@100Hz=10个采样点，但实际建议至少256点）、窗函数（Hamming/Hann）、滤波器类型（低通/高通/带通）及截止频率。Edge Impulse提供实时预览功能，可直观看到特征向量维度与波形。
- 生成特征：点击"Generate Features"，平台会对所有训练样本执行相同的处理流程，生成特征矩阵。随后可在"Feature Explorer"中查看特征分布，判断类别可分性。
4.1.3 案例拆解：工业电机振动故障诊断
背景与约束：某工厂需对生产线电机进行预测性维护，使用加速度计以2kHz采样率采集振动信号，目标区分正常、轴承磨损、转子不平衡三类状态。约束条件：边缘设备为STM32F4系列MCU，内存仅192KB，需在10ms内完成单窗口特征提取。
初始现象与目标：原始时域波形在三种状态下差异不明显，直接使用原始数据训练分类器准确率仅62%。目标是通过特征工程将准确率提升至90%以上，同时保证特征维度不超过50维。
关键输入与参数：窗口长度设为256个采样点（128ms），步长128点（64ms），FFT点数256，使用Hamming窗。提取特征包括：FFT峰值频率、峰值幅度、频谱质心、频谱带宽、3个频段（0-200Hz, 200-500Hz, 500-1kHz）的能量占比，以及时域RMS、峰值因数、偏度、峭度，共10维特征。
分析判断过程：通过Edge Impulse的Feature Explorer发现，正常状态与轴承磨损在500-1kHz频段能量占比差异显著（正常<5%，磨损>20%）；转子不平衡则表现为0-200Hz频段能量占比升高（>60%）。基于此，调整滤波器为带通100Hz-1kHz，进一步抑制低频干扰。
实际操作步骤：在Edge Impulse中配置Spectral Features模块，设置上述参数，生成特征后使用随机森林分类器（100棵树，最大深度6）训练。验证集准确率达94.2%，模型RAM占用仅12KB，推理时间4.2ms。
结果对比与复盘：相比原始数据方案（准确率62%，特征维度256），特征工程后准确率提升32个百分点，特征维度降低至10维，模型大小减小85%。风险在于FFT计算对MCU的负载，实测CPU占用率约15%，可接受。复盘经验：频段能量占比是振动诊断的关键特征，但需结合物理知识选择频段边界，而非盲目使用全频谱。
4.2 图像预处理：缩放、裁剪与归一化的工程实践
4.2.1 核心原理：为什么图像需要预处理
端侧视觉模型（如物体检测、图像分类）通常要求固定尺寸输入（如96×96、224×224像素），而摄像头原始分辨率可能为640×480或更高。直接缩放会导致信息丢失或形变，因此需要合理的插值算法。裁剪则用于去除无关背景、聚焦感兴趣区域（ROI），同时可作为一种数据增强手段（随机裁剪）。归一化将像素值从[0,255]映射到[0,1]或[-1,1]，加速模型收敛并提高数值稳定性。此外，色彩空间转换（如RGB转灰度）可减少通道数，降低计算量。
4.2.2 操作流程：Edge Impulse图像预处理配置
- 选择图像输入：在Impulse Design中，输入类型选择"Images"，设置目标尺寸（如96×96）。Edge Impulse自动将原始图像缩放至目标尺寸，默认使用双线性插值。
- 裁剪策略：在Processing Block中，可选择"Resize"（直接缩放）或"Resize with crop"（先等比缩放再中心裁剪）。对于宽高比差异大的图像，推荐后者以避免形变。
- 归一化设置：Edge Impulse默认执行像素值除以255的归一化。若需自定义（如Z-score），可在代码块中实现。
- 数据增强：在"Data Augmentation"选项卡中，可添加随机旋转（±15°）、水平翻转、亮度调整（±10%）等操作，增强模型泛化能力。
4.2.3 实战场景：嵌入式视觉缺陷检测
某电子元件生产线需检测PCB板上的焊点缺陷（虚焊、桥接）。使用500万像素工业相机，ROI区域为200×200像素。Edge Impulse配置：目标尺寸96×96，采用"Resize with crop"（先缩放至120×120，再中心裁剪至96×96），归一化至[0,1]。训练MobileNetV2模型，准确率98.7%。若直接缩放至96×96（不裁剪），准确率降至95.1%，原因是焊点微小特征被压缩变形。裁剪策略保留了关键细节，同时减少了背景干扰。
4.3 特征提取方法：MFCC、FFT与高级特征
4.3.1 MFCC：音频识别的黄金特征
梅尔频率倒谱系数（MFCC）模拟人耳对频率的非线性感知，是语音识别、声学事件检测的标准特征。其提取流程为：预加重→分帧→加窗→FFT→梅尔滤波器组→取对数→DCT变换。Edge Impulse的音频处理模块内置MFCC提取器，支持配置梅尔滤波器数量（通常40-80）、DCT系数数量（通常13-20）、帧长（25ms）与帧移（10ms）。
// Edge Impulse MFCC配置示例（C++代码块）
mfcc_config_t mfcc_config;
mfcc_config.num_mel_filters = 40;
mfcc_config.num_dct_coeffs = 13;
mfcc_config.frame_length = 400; // 25ms @ 16kHz
mfcc_config.frame_stride = 160; // 10ms @ 16kHz
mfcc_config.pre_emphasis = 0.97;
mfcc_config.window_function = WINDOW_HAMMING;
mfcc_config.mel_scale = MEL_SCALE_MEL; // 或MEL_SCALE_HTK4.3.2 FFT与频谱特征：通用频域分析
FFT是频域分析的基础，将时域信号转换为复数频谱。在Edge Impulse中，FFT特征通常以幅度谱或功率谱形式输出，可进一步提取谱质心（反映亮度）、谱滚降点（反映高频能量）、谱平坦度（反映噪声程度）等。对于振动信号，FFT峰值频率及其谐波是故障诊断的关键。
4.3.3 特征选择与降维
高维特征向量会增加模型复杂度与过拟合风险。Edge Impulse提供PCA（主成分分析）降维模块，可将数百维特征压缩至20-50维，保留95%以上方差。此外，基于特征重要性的选择（如随机森林的特征重要性排序）可剔除无关特征。
| 方法 | 输入类型 | 输出维度 | 计算量 | 适用场景 |
|---|---|---|---|---|
| FFT幅度谱 | 一维信号 | N/2（N为FFT点数） | 中 | 振动、音频 |
| MFCC | 音频 | 13-20×帧数 | 高 | 语音、声学事件 |
| 小波包分解 | 一维信号 | 可变 | 高 | 非平稳信号 |
| 统计特征 | 任意 | 5-20 | 低 | 通用 |
| PCA降维 | 特征矩阵 | 自定义 | 中 | 高维特征压缩 |
4.4 常见误区与总结复盘
4.4.1 常见误区
- 误区一：特征越多越好。高维特征导致"维度灾难"，模型过拟合且推理变慢。应优先选择物理意义明确、与任务强相关的特征。
- 误区二：忽略窗口重叠。窗口步长等于窗口长度时，相邻窗口无重叠，可能丢失时间连续性信息。建议重叠50%-75%。
- 误区三：归一化参数不一致。训练集与测试集应使用相同的归一化参数（均值、标准差），否则导致分布偏移。Edge Impulse自动保存归一化参数至部署包。
- 误区四：图像裁剪破坏关键信息。对于小目标检测，裁剪可能截断目标。应使用等比缩放+填充（letterbox）而非直接裁剪。
4.4.2 总结复盘
数据预处理与特征工程是端侧ML项目成败的关键环节。在Edge Impulse中，开发者应遵循"先理解物理意义，再配置处理模块"的原则：对于振动信号，优先考虑频段能量与峰值频率；对于音频，MFCC是默认选择；对于图像，保持宽高比与合理分辨率至关重要。建议在生成特征后，利用Feature Explorer进行可视化验证，确保类别可分性。若特征分布重叠严重，应回溯调整窗口长度、滤波器参数或特征组合。最终，特征工程的目标不是追求极致的特征维度，而是在模型精度、内存占用与推理延迟之间取得平衡。