2、TinyML应用场景分析：典型应用及其对数据集的特殊要求
TinyML 的核心价值在于将机器学习推理能力下沉到资源受限的嵌入式设备中，实现低延迟、低功耗、本地化的智能感知。然而，不同应用场景对模型输入、计算约束和输出语义的要求截然不同，这直接决定了数据集建设的策略。本章将深入剖析关键词唤醒、手势识别、异常检测、图像分类四类典型场景，并重点阐述它们对数据采集、标注、增强和验证的特殊要求，帮助学习者建立“场景驱动数据”的工程思维。
2.1 关键词唤醒（KWS）：低信噪比下的鲁棒性挑战
核心原理：关键词唤醒（Keyword Spotting, KWS）是 TinyML 最成熟的落地场景之一，典型应用包括智能音箱的“Hey Siri”、手机上的“OK Google”以及工业设备的语音控制。KWS 系统通常运行在麦克风阵列或单麦克风上，以 16kHz 采样率采集音频，将 1~2 秒的音频帧转换为梅尔频率倒谱系数（MFCC）或梅尔频谱图作为模型输入。模型参数量通常控制在 50K~500K 之间，推理时延要求小于 100ms，功耗预算在 10mW 以下。KWS 的核心难点在于：真实环境中存在背景噪声、多人说话干扰、设备位置变化、说话人口音差异等复杂因素，模型必须在极低资源占用下保持高唤醒率和低误唤醒率。
数据集特殊要求：KWS 数据集建设需要重点关注以下维度：
- 多说话人覆盖：至少采集 50 名以上不同性别、年龄、口音的说话人，确保音色多样性。公开数据集如 Speech Commands v2 包含 105 类词条、超过 10 万条音频，但实际部署时仍需补充目标用户群体的数据。
- 信噪比（SNR）分层：数据集中应包含不同 SNR 等级的样本，从干净环境（SNR > 30dB）到强噪声（SNR < 5dB），覆盖室内、室外、车载、厨房等典型场景。建议每个 SNR 等级至少 500 条样本。
- 负样本设计：除了目标关键词的正样本，必须包含大量非关键词语音、环境噪声、音乐片段等负样本。负样本与正样本的比例建议不低于 3:1，以降低误唤醒率。
- 设备差异：不同麦克风的频率响应、灵敏度差异会影响模型性能。建议使用至少 3 种不同型号的麦克风采集数据，或在数据增强阶段加入设备模拟噪声。
2.2 手势识别：个体差异与时间序列对齐
核心原理：基于 IMU（惯性测量单元）的手势识别是 TinyML 在可穿戴设备中的典型应用，用于实现手势控制、运动监测、人机交互等功能。系统以 50~200Hz 采样率采集三轴加速度计和陀螺仪数据，通过滑动窗口（通常 1~3 秒）切分为时间序列片段，使用 1D-CNN、TCN 或轻量级 LSTM 进行分类。手势识别的核心挑战在于：同一手势在不同用户、不同佩戴位置、不同运动速度下产生的 IMU 信号差异显著，且时间序列存在非线性伸缩（同一手势快慢不同）。
数据集特殊要求：
- 多用户覆盖：至少采集 20 名以上用户的数据，覆盖不同身高、体重、惯用手习惯。每位用户每个手势重复 20~50 次，以捕捉自然变化。
- 佩戴位置多样性：手环、手表、手机等设备佩戴位置不同，IMU 信号特征差异明显。数据集应包含腕部、手部、口袋等至少 3 种佩戴位置。
- 时间序列对齐：手势起止点标注需要精确到采样点级别。建议使用半自动标注工具，先通过能量阈值自动检测手势区间，再人工校正边界。
- 时间增强策略：对时间序列进行伸缩（时间扭曲）、幅度缩放、添加高斯噪声、旋转扰动等增强操作，模拟真实场景中的速度变化和传感器噪声。
| 数据维度 | 推荐配置 | 说明 |
|---|---|---|
| 采样率 | 100Hz（加速度计）/ 100Hz（陀螺仪） | 覆盖手势主要频段（0.5~10Hz） |
| 窗口长度 | 2秒（200个采样点） | 覆盖完整手势周期 |
| 用户数量 | ≥20人 | 保证个体差异覆盖 |
| 每类手势样本数 | ≥500条 | 含增强后数据 |
| 标注粒度 | 手势起止时间戳 | 精确到采样点 |
2.3 异常检测：正常样本为主的不平衡学习
核心原理：异常检测在工业预测性维护、设备状态监测、医疗健康预警等领域应用广泛。TinyML 异常检测系统通常使用振动传感器、温度传感器或电流传感器采集设备运行数据，通过自编码器（Autoencoder）或一类分类器（One-Class SVM）学习正常状态的数据分布，当输入样本的重构误差超过阈值时判定为异常。与分类任务不同，异常检测的核心假设是：正常样本大量可得且模式相对稳定，而异常样本稀少且不可预知。
数据集特殊要求：
- 正常样本为主：训练集应包含 95% 以上的正常样本，覆盖设备不同负载、不同转速、不同环境温度下的正常运行状态。建议采集至少 7 天的连续运行数据，覆盖完整的工作周期。
- 异常样本验证：虽然训练阶段不需要大量异常样本，但验证集必须包含真实异常数据，用于确定重构误差阈值。异常类型应覆盖：突发冲击、渐进退化、周期性扰动等。
- 时间相关性：设备运行数据具有强时间相关性，数据集应保留时间顺序信息，不能随机打乱。建议按时间窗口切分，训练集使用前 70% 时间数据，验证集使用后 30%。
- 多工况覆盖：如果设备有多个运行工况（如不同转速档位），每个工况都需要单独采集正常样本，否则模型会将工况变化误判为异常。
2.4 图像分类：资源受限下的视觉感知
核心原理：图像分类是 TinyML 中计算需求最高的场景之一，典型应用包括工业质检、智能安防、农业病虫害识别等。由于 MCU 的算力限制（通常为几十至几百 MHz 的 Cortex-M 系列），输入图像分辨率通常限制在 96×96 或 128×128 像素，使用 MobileNetV1、EfficientNet-Lite 等轻量级网络，参数量控制在 1M 以内。图像分类的核心挑战在于：在极低分辨率下保持足够的分类精度，同时控制内存占用（通常 RAM 预算 100~300KB）和推理时延（通常小于 500ms）。
数据集特殊要求：
- 分辨率适配：原始图像通常为 1080p 或更高分辨率，需要降采样至模型输入尺寸。数据集建设时应保留原始图像，并在预处理阶段模拟降采样效果，避免直接使用已压缩的小图。
- 光照与场景增强：TinyML 设备通常部署在固定位置，光照条件变化剧烈。数据集中应包含不同时间段（白天/夜晚/黄昏）、不同天气（晴天/阴天/雨天）的图像。增强操作包括：亮度调整、对比度调整、高斯噪声、模糊模拟等。
- 类别均衡：实际场景中类别分布往往不均衡（如工业质检中良品远多于次品）。建议采用过采样、欠采样或合成少数类样本（SMOTE）等方法平衡类别，但要注意避免过拟合。
- 背景多样性：目标物体可能出现在不同背景中，数据集应包含多种背景环境，防止模型学习背景特征而非物体特征。
| 场景 | 输入尺寸 | 模型 | RAM 预算 | 数据集关键点 |
|---|---|---|---|---|
| 工业质检 | 96×96 灰度 | MobileNetV1 0.25x | 150KB | 缺陷类型均衡、光照统一 |
| 智能安防 | 128×128 RGB | EfficientNet-Lite0 | 250KB | 多角度、多距离、遮挡 |
| 农业监测 | 96×96 RGB | MobileNetV2 0.35x | 180KB | 不同生长阶段、病虫害程度 |
2.5 场景对比与数据集策略总结
四类典型场景在数据维度、标注复杂度、增强策略和验证方法上存在显著差异。下表从工程实践角度进行对比：
| 对比维度 | 关键词唤醒 | 手势识别 | 异常检测 | 图像分类 |
|---|---|---|---|---|
| 数据模态 | 音频（1D） | IMU（多通道1D） | 振动/温度（1D） | 图像（2D） |
| 标注复杂度 | 中（词级标注） | 高（时间戳级） | 低（正常/异常） | 中（类别标签） |
| 主要增强方法 | 加噪、混响、音调变换 | 时间扭曲、幅度缩放 | 工况模拟、噪声注入 | 亮度、裁剪、仿射变换 |
| 验证重点 | 误唤醒率、唤醒率 | 跨用户泛化 | 误报率、漏报率 | Top-1 准确率、混淆矩阵 |
| 数据量需求 | 中（1~5万条） | 中（5千~2万条） | 高（连续时间序列） | 高（每类≥1000张） |
数据集建设通用流程：无论哪种场景，都应遵循以下步骤：（1）场景调研——明确部署环境、用户群体、设备约束；（2）采集方案设计——确定传感器、采样率、采集时长、覆盖维度；（3）数据采集与清洗——去除无效样本、处理缺失值、统一格式；（4）标注与质检——制定标注规范、培训标注人员、进行一致性检验；（5）增强与划分——设计增强策略、划分训练/验证/测试集；（6）验证与迭代——在目标设备上测试，根据失败案例补充数据。