4、手势识别数据采集：使用加速度计/IMU传感器采集手势数据，数据标注与格式转换

在TinyML手势识别项目中，模型性能的上限往往在数据采集阶段就已注定。无论后续采用何种量化策略或部署优化，如果原始传感器数据存在噪声、标注错误或类别不均衡，最终部署在Ethos-U上的模型都难以达到预期精度。本章聚焦于手势识别数据采集的完整工程链路：从加速度计/IMU传感器的选型与配置，到数据采集流程设计，再到数据标注规范与格式转换，最终形成可直接输入模型训练的标准数据集。

4.1 加速度计/IMU传感器选型与配置

手势识别通常使用三轴加速度计（Accelerometer）或六轴IMU（加速度计+陀螺仪）。在TinyML场景下，传感器选型需同时考虑精度、功耗、接口兼容性和成本。对于Ethos-U系列微控制器（如STM32H747、STM32N6等），常用的传感器包括ST的LSM6DSOX（集成机器学习核）、LSM303AGR，以及InvenSense的MPU6050/MPU9250。LSM6DSOX因其内置的有限状态机（FSM）和机器学习核（MLC）可在传感器端完成初步特征提取，适合低功耗场景；而MPU6050则因价格低廉、资料丰富，适合教学和原型验证。

传感器配置的核心参数包括：量程（Full Scale）、输出数据速率（ODR）和带宽（BW）。手势动作产生的加速度通常在±2g到±4g之间，因此量程设置为±4g较为合适，既能覆盖大部分手势幅度，又能保证足够的量化精度（16位输出时，±4g对应约0.122mg/LSB）。ODR的选择需权衡时间分辨率和数据量：100Hz是手势识别的常用起点，既能捕捉手势的瞬态变化（如快速挥动），又不会产生过多冗余数据。若手势动作较慢（如太极推手），可降至50Hz；若包含快速抖动（如敲击），则需提升至200Hz。

// I2C初始化，地址0x6B（SA0=1）
lsm6dsox_init(&dev, LSM6DSOX_I2C_ADD_L);
// 设置ODR=104Hz, FS=±4g, BW=400Hz
lsm6dsox_xl_set_odr(&dev, LSM6DSOX_XL_ODR_104Hz);
lsm6dsox_xl_set_full_scale(&dev, LSM6DSOX_4g);
lsm6dsox_xl_set_bw(&dev, LSM6DSOX_XL_BW_400Hz);
// 启用FIFO，深度4KB，BDR触发
lsm6dsox_fifo_set_mode(&dev, LSM6DSOX_FIFO_BYPASS);
lsm6dsox_fifo_set_watermark(&dev, 100); // 每100个样本触发中断

配置完成后，务必通过读取WHO_AM_I寄存器（LSM6DSOX返回0x6C）验证通信正常，并检查原始数据是否在合理范围内（静止时加速度模长应接近1g）。若数据漂移严重，需检查电源纹波和I2C上拉电阻。

4.2 手势数据采集流程设计

数据采集流程决定了样本的一致性和覆盖度。一个标准的手势采集流程应包含以下步骤：动作定义 → 采集环境设置 → 受试者引导 → 数据记录 → 质量检查。动作定义需明确手势的起始位置、运动轨迹、结束位置和持续时间。例如，"上挥"手势定义为：手从腰部高度快速抬至肩部高度，再自然放下，总时长约1秒。每个手势需定义标准动作模板，并录制参考视频供标注人员参考。

采集环境应保持传感器固定方式一致。推荐将IMU模块佩戴在手腕背面（如手表位置），使用弹性绑带固定，避免传感器在手上滑动。若使用开发板（如SensorTile.box或Arduino Nano 33 BLE Sense），需确保板载传感器方向一致，并在代码中记录传感器坐标系与手势方向的映射关系。例如，手腕佩戴时，X轴指向手指方向，Y轴指向手背，Z轴垂直手背向外。

样本数量规划需考虑类别数和模型复杂度。对于6类手势（上、下、左、右、圆圈、静止），每类至少采集200个样本，总计1200个样本。若使用深度学习模型（如1D-CNN），建议每类300-500个样本。采集时应覆盖不同受试者（至少3人）、不同速度（慢速/正常/快速）和不同幅度（小/中/大），以增强模型泛化能力。每个样本的采集流程为：系统发出提示音 → 受试者执行手势 → 系统自动截取固定长度窗口（如2秒）→ 保存为一条记录。

采集过程中需实时显示波形（如通过串口绘图工具或PyQtGraph），观察数据是否出现饱和（绝对值接近量程上限）、丢失（采样间隔突变）或异常尖峰。若发现异常，应立即停止采集并检查传感器连接或代码逻辑。

4.3 数据标注规范与工具

数据标注是将原始传感器数据映射到类别标签的过程。标注质量直接影响模型精度，因此需制定严格的标注规范。标注内容包含三个层次：类别标签（如"up"）、时间戳（手势起止时刻）和质量标记（如"清晰"、"模糊"、"无效"）。对于固定窗口采集的数据，时间戳可省略，但需记录窗口起始时间与手势实际开始时间的偏移量，便于后续对齐分析。

标注工具可选择LabelStudio（支持时间序列标注）、Audacity（音频标注工具可复用）或自定义Python脚本。对于传感器数据，推荐使用LabelStudio的"Time Series"标注类型，可同时查看三轴波形并框选手势区间。标注界面应显示加速度X/Y/Z三通道波形，并允许标注人员播放对应的动作视频（如有）以辅助判断。标注完成后导出为CSV或JSON格式，包含每个样本的起始索引、结束索引和类别ID。

标注完成后需进行一致性检查和清洗。若发现同一手势在不同受试者间波形差异过大，可考虑增加"速度归一化"预处理，或重新定义手势模板。对于标注为"invalid"的样本，直接剔除，不参与训练。

4.4 数据格式转换与增强

原始传感器数据通常以CSV或二进制格式存储，需转换为模型训练所需的张量格式。对于TinyML部署，推荐使用NumPy数组或TFRecord格式。转换流程包括：数据加载 → 窗口切片 → 归一化 → 标签编码 → 数据增强 → 保存。窗口切片时，若原始数据长度超过窗口长度，可采用滑动窗口提取多个样本；若不足，则丢弃或补零。归一化通常采用Z-score方法，即减去均值并除以标准差，使每个通道的数据分布接近标准正态分布。但需注意，归一化参数需在训练集上计算，并保存供推理阶段使用。

import numpy as np
import pandas as pd

# 加载原始CSV数据
df = pd.read_csv('gesture_data.csv')
# 提取三轴加速度列
accel = df[['ax', 'ay', 'az']].values.astype(np.float32)
# 窗口切片：窗口长度200，步长50
window_size, step = 200, 50
samples = []
for i in range(0, len(accel) - window_size + 1, step):
    window = accel[i:i+window_size]
    samples.append(window)
samples = np.array(samples)  # shape=(N, 200, 3)

# 归一化（在训练集上计算均值和标准差）
mean = samples.mean(axis=(0,1), keepdims=True)
std = samples.std(axis=(0,1), keepdims=True) + 1e-6
samples_norm = (samples - mean) / std

# 标签编码（one-hot）
from sklearn.preprocessing import OneHotEncoder
labels = np.array([...])  # 原始标签
encoder = OneHotEncoder(sparse=False)
labels_onehot = encoder.fit_transform(labels.reshape(-1,1))

# 保存为NPZ文件
np.savez('gesture_dataset.npz', x=samples_norm, y=labels_onehot)

数据增强是提升模型泛化能力的有效手段。对于IMU数据，常用的增强方法包括：随机旋转（绕重力方向旋转小角度）、时间缩放（拉伸或压缩时间轴）、噪声注入（添加高斯噪声）、通道置换（交换X/Y轴）和时间扭曲（局部时间偏移）。增强操作需在训练时动态进行（on-the-fly），避免存储爆炸。例如，使用TensorFlow的tf.data API实现数据增强流水线。

4.5 案例拆解：从原始数据到可训练数据集

以下通过一个实际案例展示完整的数据采集与转换流程。项目背景：为STM32H747上的手势识别模型采集"上、下、左、右、圆圈、静止"六类手势数据，目标部署在Ethos-U55上，模型输入为100Hz采样率下2秒窗口的三轴加速度数据。

初始条件：使用LSM6DSOX传感器，I2C接口连接至STM32H747，采样率设置为104Hz（实际有效值），量程±4g。采集环境为室内，受试者佩戴SensorTile.box开发板于右手腕。

采集过程：共招募5名受试者，每人每类手势采集30次，每次2秒，总计5×6×30=900个样本。采集时通过串口实时传输数据至PC端，使用Python脚本保存为CSV文件，每行包含时间戳、ax、ay、az四个字段。同时录制受试者手部动作视频，用于后续标注参考。

标注与清洗：使用LabelStudio加载CSV数据，标注人员根据视频和波形特征，为每个样本标记类别和质量。经检查，发现约5%的样本因传感器松动或动作不标准被标记为"invalid"，予以剔除。最终有效样本为855个，每类约142个，略低于目标值，因此补充采集了第二轮数据，最终每类达到200个样本。

格式转换：编写Python脚本将CSV转换为NumPy数组，窗口长度设为208（对应2秒@104Hz），滑动步长52（重叠75%），共生成约3400个训练窗口。归一化参数在训练集上计算，保存为JSON文件供推理阶段使用。标签使用One-Hot编码，类别顺序为[静止, 上, 下, 左, 右, 圆圈]。

结果对比：使用相同模型结构（1D-CNN，3层卷积+2层全连接）分别训练原始数据（无增强）和增强数据（随机旋转±10°+高斯噪声σ=0.05），在测试集上的准确率分别为91.2%和94.7%，增强后提升了3.5个百分点。同时，增强模型的混淆矩阵显示，容易混淆的"左"和"右"手势错误率从8%降至4%。

复盘经验：本次采集过程中，最初因未统一佩戴方向导致前100个样本数据异常，重新采集后解决。建议在采集前编写传感器方向自检程序，通过静止时重力方向判断传感器安装是否正确。此外，标注环节耗时约3小时，占整个数据准备时间的40%，建议后续使用半自动标注（基于阈值检测手势起止）减少人工工作量。

4.6 总结与最佳实践

手势识别数据采集是TinyML项目中最耗时但最关键的环节。本章的核心要点可归纳为：传感器配置需匹配手势动态范围（量程±4g、ODR 100Hz为常用起点）；采集流程需标准化（统一佩戴方式、明确动作模板、实时质量监控）；标注规范需量化（定义清晰边界、多人一致性校验）；格式转换需考虑部署约束（归一化参数保存、窗口重叠策略）。

在实际项目中，建议建立数据版本管理机制，每次采集的数据集记录采集时间、受试者信息、传感器配置和标注版本，便于追溯和复现。同时，在模型训练前进行数据可视化分析（如t-SNE降维），检查类别可分性，若发现重叠严重，需返回调整采集方案或增加特征工程。

完成数据准备后，下一阶段将进入模型设计与训练环节。但请记住，无论模型多么先进，数据的质量始终是决定部署效果的第一要素。在Ethos-U上运行的模型，其推理结果的可信度直接来源于训练数据的真实性和代表性。