📚 课程目录第3章手势识别基础

3、手势识别基础：手势数据采集方法、传感器选择（加速度计/IMU）、数据标注与预处理

在TinyML手势识别项目中，模型性能的上限并非由神经网络结构决定，而是由训练数据的质量与传感器选型共同决定。本章聚焦于从物理世界到数字张量的关键转换链路：如何选择加速度计/IMU、如何设计采集流程、如何对原始信号进行标注与清洗。理解这一环节，是后续模型训练与端侧部署成功的基石。

3.1 传感器选型：加速度计与IMU的工程权衡

手势识别的物理基础是惯性测量。加速度计测量线性加速度，陀螺仪测量角速度，磁力计提供方向参考。IMU（惯性测量单元）通常集成加速度计+陀螺仪（6轴）或再加磁力计（9轴）。在TinyML场景中，选型需在性能、成本、功耗与体积间取得平衡。

核心原理：从物理量到数字信号

加速度计基于MEMS（微机电系统）原理，通过检测敏感质量块的位移或电容变化来输出加速度值。典型输出为三轴分量（x, y, z），单位为g（9.8m/s²）或m/s²。陀螺仪输出角速度（°/s）。对于手势识别，三轴加速度计通常已足够，因为手势动作主要表现为平移加速度变化；而需要识别旋转手势（如翻腕、转动）时，6轴IMU优势明显。

对比维度	三轴加速度计	6轴IMU（加速度计+陀螺仪）	9轴IMU（+磁力计）
典型型号	ADXL345, MMA8452	MPU6050, LSM6DS3	MPU9250, ICM-20948
功耗（典型）	40~140 µA	0.5~3.5 mA	1~5 mA
数据维度	3轴	6轴	9轴
适用手势	挥动、敲击、平移	旋转、翻转、复杂组合	需要绝对方向参考
MCU资源占用	低	中	高（需磁校准）
端侧部署难度	简单	中等	较复杂

选型建议：对于入门级TinyML手势识别（如挥动、握拳、滑动），优先选择低功耗三轴加速度计（如ADXL345或LIS3DH）。若项目需要识别手腕旋转或精细手势，升级至6轴IMU（如MPU6050）。9轴IMU在端侧MCU上通常因磁力计校准复杂而较少采用。

操作流程：传感器选型五步法

定义手势集合：列出所有需要识别的手势，标注每个手势的主要运动特征（平移/旋转/静止）。
确定量程：日常手势加速度峰值约±2g~±4g，剧烈运动（如快速甩手）可达±8g。选择量程为±4g或±8g的传感器，避免饱和。
评估采样率：手势动作频率通常为1~5Hz，根据奈奎斯特定理，采样率至少10Hz。实际工程中取50~100Hz，兼顾功耗与精度。
检查接口与功耗：确认MCU支持I2C或SPI接口，计算传感器+MCU的总功耗是否满足电池续航要求。
验证安装方向：确定传感器在设备上的固定方向，并在代码中记录轴映射关系，避免后续数据混乱。

3.2 手势数据采集方法：从实验设计到数据记录

数据采集是手势识别项目中最耗时且最影响模型泛化能力的环节。一个常见误区是只采集单人、单场景的数据，导致模型在真实部署时准确率骤降。科学的数据采集需要系统化设计。

核心原理：数据分布与泛化

模型在训练集上的表现与在真实场景中的表现之间的差距，主要源于数据分布不一致。手势数据受以下因素影响：个体差异（手型大小、动作幅度）、佩戴位置（手腕、手背、手指）、运动速度（快慢变化）、环境干扰（走路震动、手臂晃动）。因此，采集方案必须覆盖这些变量。

操作流程：标准采集协议

受试者招募：至少3~5人，涵盖不同性别、年龄段、手型大小。
场景设定：固定坐姿、站立、行走三种场景，模拟真实使用环境。
动作执行：每个手势重复20~50次，每次动作之间停顿2秒，便于后续分割。
数据记录：以固定采样率（如50Hz）连续记录，同时通过按钮或串口命令打时间戳标记动作起止。
数据保存：每名受试者、每个场景、每个手势分别保存为独立文件，命名规则如 subject01_sit_swipe_001.csv。

// 数据采集伪代码（Arduino/ESP32）
const int SAMPLE_RATE = 50; // Hz
unsigned long lastSampleTime = 0;

void loop() {
  if (millis() - lastSampleTime >= 1000 / SAMPLE_RATE) {
    lastSampleTime = millis();
    // 读取三轴加速度
    int16_t ax = accel.getX();
    int16_t ay = accel.getY();
    int16_t az = accel.getZ();
    // 输出CSV格式：时间戳,ax,ay,az
    Serial.print(millis());
    Serial.print(",");
    Serial.print(ax);
    Serial.print(",");
    Serial.print(ay);
    Serial.print(",");
    Serial.println(az);
  }
}

案例拆解：多受试者采集的完整闭环

背景与目标：某团队开发一款智能手环，需识别“上滑”“下滑”“左滑”“右滑”四种手势，目标端侧准确率≥90%。
初始方案：仅由2名开发者采集数据，每手势50次，共400个样本。
问题暴露：模型在自测时准确率95%，但换人测试后骤降至60%。
分析过程：对比数据发现，两名开发者动作幅度大、速度快，而新用户动作幅度小、速度慢，导致特征分布偏移。
改进措施：重新设计采集方案——招募5名受试者（3男2女，年龄22~45岁），每人每手势采集30次，分坐姿和站姿两种场景，共5×4×30×2=1200个样本。同时要求受试者以“自然、随意”的方式执行手势，避免刻意标准化。
结果对比：新数据集训练后，模型在5名受试者上的交叉验证准确率提升至92%，在未参与训练的2名新用户上达到88%。
复盘经验：数据多样性比数据量更重要；采集时应模拟真实使用习惯，而非实验室标准化动作。

3.3 数据标注与预处理：从原始信号到训练张量

原始传感器数据是连续的时间序列，无法直接输入神经网络。需要经过窗口化、滤波、归一化等步骤，并确保标签与数据严格对齐。

核心原理：滑动窗口与特征提取

手势识别通常采用滑动窗口将连续数据流切分为固定长度的片段。窗口长度需覆盖单个手势的完整周期（通常200~500ms），重叠率50%~75%用于增加样本数量并平滑边界效应。每个窗口内的数据作为一条独立样本，标签为该窗口中心时刻对应的手势类别。

操作流程：预处理流水线

去直流分量：减去信号均值，消除重力加速度的常数偏移。
低通滤波：使用截止频率10~20Hz的低通滤波器（如Butterworth或移动平均），去除高频噪声。
窗口切分：设置窗口长度（如256个采样点@50Hz=5.12秒，实际常用100~150点）和步长（如50%重叠）。
归一化：将每个窗口内的数据缩放到[-1, 1]或[0, 1]区间，消除不同受试者之间的幅度差异。
标签对齐：根据采集时的时间戳，为每个窗口分配对应的手势标签。

  数据增强技巧：在端侧部署中，模型对传感器安装角度敏感。可在训练时对每个窗口施加随机旋转（±15°）、随机缩放（0.9~1.1倍）、随机噪声（±0.02g），模拟真实佩戴偏差，提升鲁棒性。

常见误区与总结复盘

误区1：采样率越高越好。高采样率增加功耗和计算负担，且手势信号能量集中在低频段，50Hz已足够。
误区2：忽略轴方向一致性。不同设备安装方向不同，若训练和推理时轴映射不一致，模型完全失效。应在代码中固定轴顺序，或使用轴无关特征（如加速度幅值）。
误区3：标签延迟。手动标注时，从动作开始到按下标记按钮存在延迟，导致窗口标签错位。建议使用自动触发或事后通过视频帧同步校正。
误区4：类别不平衡。某些手势采集次数少，导致模型偏向多数类。需统计各类别样本数，通过欠采样或过采样平衡。

工程警示：在将数据转换为训练张量前，务必进行可视化检查。绘制每个窗口的波形图，确认无异常尖峰、缺失值或传感器饱和。一个简单的数据质量检查可避免数小时的无效训练。

完成本章的数据采集与预处理后，你将获得一份结构清晰、标签准确、分布合理的训练数据集。这是后续模型训练与ONNX转换的基础。下一阶段将进入模型架构设计与训练优化环节，但请记住：高质量的数据永远是TinyML项目成功的首要因素。