课程导论：TinyML与手势识别概述、ONNX生态简介、课程目标与学习路径

TinyML（微型机器学习）是机器学习与嵌入式系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源有限的微控制器（MCU）上部署和运行机器学习模型。手势识别作为TinyML最具代表性的应用场景之一，通过加速度计、陀螺仪或摄像头等传感器采集人体手势动作数据，利用轻量级神经网络模型在端侧完成实时推理，从而实现无需云端参与的本地智能交互。本课程聚焦于"ONNX模型端侧部署"这一关键工程环节，帮助学习者打通从模型训练到硬件落地的完整技术链路。

1.1 TinyML核心原理与手势识别技术基础

TinyML的本质是在资源极度受限的嵌入式环境中实现机器学习推理。典型的MCU通常只有几十KB到几MB的Flash存储，RAM容量更是以KB为单位计算，CPU主频往往在几十MHz到几百MHz之间，且没有主动散热装置。这意味着传统的深度学习模型（如ResNet-50、BERT等）无法直接运行，必须经过模型压缩、轻量化设计以及针对硬件特性的深度优化。

手势识别在TinyML中的实现路径主要分为两类：基于IMU（惯性测量单元）的手势识别和基于视觉的手势识别。前者利用加速度计和陀螺仪捕捉手部运动产生的惯性信号，数据维度低（通常6轴或9轴）、采样率适中（50Hz-200Hz），模型参数量可控制在数万级别，非常适合MCU部署。后者依赖摄像头采集图像帧，虽然信息更丰富，但计算量和内存占用呈指数级增长，通常需要配合专用NPU或更高性能的MCU才能实现实时处理。

1.1.1 手势识别系统的典型架构

一个完整的TinyML手势识别系统通常包含以下模块：传感器数据采集（通过I2C/SPI接口读取IMU数据）、信号预处理（滑动窗口分割、去噪、归一化）、特征提取（在传统方法中为手工特征，在深度学习方法中由网络自动学习）、模型推理（运行量化后的神经网络）、后处理与决策（softmax概率输出、阈值判断、去抖处理）。在部署阶段，这些模块需要被整合进嵌入式软件架构中，并考虑中断服务、DMA传输、低功耗模式切换等实时性因素。

1.1.2 为什么选择ONNX作为中间表示

ONNX（Open Neural Network Exchange）由微软和Facebook于2017年联合推出，旨在解决深度学习框架之间的模型互操作性问题。在TinyML工作流中，ONNX扮演着"通用交换格式"的角色：开发者可以使用PyTorch、TensorFlow、Keras等任意主流框架训练模型，然后统一导出为ONNX格式，再通过转换工具链（如onnx2tf、onnx2c、TFLM Converter）生成目标平台可执行的代码或二进制文件。这种解耦设计极大提升了开发灵活性，避免了被单一厂商生态锁定的风险。

1.2 ONNX生态简介与端侧部署技术栈

ONNX生态并非单一工具，而是一个覆盖模型转换、优化、推理、硬件适配的完整技术栈。理解这一生态的层次结构，有助于我们在实际项目中做出合理的技术选型。

第一层：模型转换工具。PyTorch通过torch.onnx.export导出ONNX模型；TensorFlow通过tf2onnx转换；Keras模型可使用keras2onnx。这些工具负责将训练框架的计算图映射为ONNX算子图，并处理权重格式转换。转换过程中需要关注算子映射是否完整、动态维度是否被正确声明、控制流是否被展开等问题。

第二层：模型优化工具。ONNX Runtime提供了onnxruntime.quantization模块，支持训练后量化（PTQ）和量化感知训练（QAT）。此外，onnxoptimizer可以执行常量折叠、算子融合（如Conv+BN融合）、冗余节点消除等图优化操作。对于TinyML场景，还需要使用onnx2tf将ONNX转换为TensorFlow Lite格式，或使用onnx2c直接生成C代码。

第三层：端侧推理引擎。目前主流的端侧推理引擎包括：TensorFlow Lite Micro（TFLM，专为MCU设计，支持ARM Cortex-M系列）、CMSIS-NN（ARM官方针对Cortex-M内核优化的神经网络内核库）、Glow（Facebook开源的编译器，支持将ONNX模型编译为针对特定硬件的机器码）、以及各芯片厂商自研的SDK（如ST的Cube.AI、NXP的eIQ）。这些引擎在算子实现效率、内存占用、功耗控制方面各有侧重。

1.2.1 ONNX模型在MCU上的部署流程

将ONNX模型部署到MCU并非一步到位，而是需要经过多个转换和优化阶段。以下是一个典型的部署流水线：

1. 模型训练与验证：在PC端使用PyTorch/TensorFlow训练手势识别模型，确保准确率达到预期目标（如≥95%）。
2. 导出ONNX：将训练好的模型导出为ONNX格式，并使用onnx.checker验证模型合法性。
3. 模型压缩：执行量化（FP32→INT8）、剪枝或知识蒸馏，将模型大小压缩至MCU Flash容量允许范围内（通常<500KB）。
4. 转换为TFLM格式：使用onnx2tf将ONNX转换为TensorFlow Lite格式，再通过xxd工具将模型转换为C字节数组。
5. 编写推理代码：在嵌入式IDE（如STM32CubeIDE）中集成TFLM库，编写模型加载、输入预处理、推理调用、输出解析的C++代码。
6. 硬件验证与调优：在真实硬件上测试推理延迟、内存占用、功耗，并根据结果调整模型结构或量化参数。

1.3 课程目标与学习路径规划

本课程面向具备一定嵌入式开发基础（熟悉C/C++、了解MCU外设编程）和基础机器学习知识（了解神经网络基本概念）的学习者。课程目标并非培养算法研究员，而是培养能够将已有模型高效部署到端侧硬件的工程实践者。

完成本课程后，学习者将能够：

• 独立完成从PyTorch/TensorFlow模型到ONNX的导出与验证；
• 掌握INT8量化、模型剪枝等压缩技术，并理解其对精度的影响；
• 熟练使用TensorFlow Lite Micro在STM32等MCU上部署手势识别模型；
• 具备排查部署过程中常见问题（内存溢出、算子不支持、精度下降）的能力；
• 了解不同硬件平台（ESP32、K210）的部署差异与优化策略。

1.3.1 课程章节架构与学习路径

课程共30章，分为五个阶段，每个阶段聚焦一个核心能力域。建议学习者按照顺序学习，但可根据自身基础跳过部分基础章节。

1.3.2 学习建议与常见误区

在学习过程中，学习者容易陷入以下误区，需要特别注意：