📚 课程目录第3章 TinyML基础

3、TinyML基础：TinyML定义、典型工作流（训练、量化、部署）、ESP32上运行TinyML的常见框架（TensorFlow Lite Micro、Edge Impulse等）

TinyML是机器学习与嵌入式系统交叉领域中最具工程落地价值的分支，其核心目标是在功耗受限、计算资源有限（通常为KB级RAM、MB级Flash）的微控制器（MCU）上直接运行推理模型。与云端AI不同，TinyML强调本地化、低延迟、低功耗和数据隐私。在ESP32这类集成Wi-Fi/蓝牙的MCU上，TinyML不仅可行，而且通过PSRAM扩展和框架优化，已经能够运行图像分类、关键词唤醒、异常检测等实用模型。理解TinyML的定义边界、标准工作流以及ESP32生态中的框架选型，是后续进行PSRAM读写速度优化的前提。

上图展示了TinyML从训练到部署的完整工程链路，以及ESP32端两种主流框架的定位差异。下面将逐一展开TinyML的核心定义、工作流细节、框架选型与实战注意事项。

3.1 TinyML的核心定义与边界

TinyML并非简单的“在MCU上跑神经网络”，而是一套完整的系统工程方法论。其定义包含三个关键维度：硬件约束（通常为KB级RAM、MB级Flash、几十MHz主频）、功耗预算（电池供电场景下平均电流低于1mA）、实时性要求（推理延迟通常在10ms~100ms量级）。与边缘计算（Edge Computing）相比，TinyML更强调在MCU裸机或RTOS环境下运行，不依赖Linux操作系统，也不使用GPU或NPU加速。

对比维度	云端AI	边缘AI（手机/网关）	TinyML（MCU）
RAM	GB级	MB级	KB级（ESP32为520KB SRAM）
Flash	TB级	GB级	MB级（ESP32通常4~16MB）
功耗	数百瓦	数瓦	mW级
操作系统	Linux/容器	Android/iOS	裸机/FreeRTOS
典型延迟	100ms+	10~50ms	5~50ms

在ESP32上，TinyML的典型应用包括：关键词唤醒（如“Hey ESP”）、振动异常检测、手势识别、简单图像分类（通过OV2640摄像头）。这些应用共同的特点是：模型参数量在几十KB到几百KB之间，单次推理计算量在几M到几十M MACs（乘加运算）之间。

3.2 TinyML典型工作流：训练、量化、部署

标准TinyML工作流分为三个阶段，每个阶段都有特定的工具链和验证标准。理解每个阶段的输入输出，是避免“模型在PC上精度高、上板后完全不可用”这类问题的关键。

阶段一：模型训练（PC端）

训练阶段的目标是获得一个浮点精度的模型。与常规深度学习不同，TinyML训练需要特别关注模型尺寸和算子类型。建议使用Keras或PyTorch构建模型时，优先选择Depthwise Separable Convolution、Global Average Pooling等参数高效的算子。训练完成后，需要记录模型的浮点精度（如Top-1 Accuracy）作为后续量化对比的基准。

# 示例：一个适合TinyML的简单CNN分类模型（Keras）
model = tf.keras.Sequential([
    tf.keras.layers.Input(shape=(32, 32, 3)),
    tf.keras.layers.DepthwiseConv2D(kernel_size=3, padding='same'),
    tf.keras.layers.Conv2D(16, kernel_size=1),
    tf.keras.layers.ReLU(),
    tf.keras.layers.GlobalAveragePooling2D(),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

阶段二：量化与转换

量化是将FP32模型转换为INT8或INT16模型的过程，这是TinyML部署中最关键的一步。常用的量化方法有两种：训练后量化（PTQ）和量化感知训练（QAT）。PTQ不需要重新训练，但需要一小部分校准数据集来统计激活值的动态范围；QAT在训练过程中模拟量化误差，精度通常更高，但训练时间更长。

量化关键参数：在TensorFlow Lite转换时，需要设置 optimizations=[tf.lite.Optimize.DEFAULT] 并指定 representative_dataset。对于ESP32，建议使用INT8量化，因为ESP32的指令集对8位整数运算有较好的支持。量化后模型大小约为原来的1/4，推理速度提升2~4倍。

阶段三：部署与推理（ESP32端）

部署阶段需要将量化后的TFLite模型转换为C++字节数组，并集成到ESP32工程中。ESP32的SRAM只有520KB，而模型推理需要同时存储权重、激活值和中间缓冲区。此时PSRAM（外部SPI RAM）的价值就体现出来：可以将模型权重放在PSRAM中，而将频繁读写的激活缓冲区放在内部SRAM中，以平衡速度与容量。

// 部署时内存规划示例（伪代码）
const unsigned char model_data[] = { /* 量化后的模型字节 */ };
tflite::MicroMutableOpResolver<10> resolver;
resolver.AddConv2D();
resolver.AddDepthwiseConv2D();
resolver.AddFullyConnected();
// 使用PSRAM作为模型权重存储（通过自定义分配器）
uint8_t* tensor_arena = (uint8_t*)ps_malloc(200 * 1024); // 200KB PSRAM

3.3 ESP32上运行TinyML的常见框架

目前ESP32生态中最主流的两个TinyML框架是TensorFlow Lite Micro（TFLM）和Edge Impulse。此外还有ONNX Runtime for MCU、CMSIS-NN等，但前两者在社区活跃度和ESP32适配度上最具代表性。

3.3.1 TensorFlow Lite Micro

TFLM是Google官方为MCU设计的推理引擎，其核心设计理念是“极简依赖、静态内存分配”。在ESP32上使用TFLM，需要将模型转换为C数组，并通过MicroInterpreter进行推理。TFLM的优势在于灵活性高，支持自定义算子，且与TensorFlow生态无缝衔接。但缺点是学习曲线陡峭，需要手动管理内存arena，且对PSRAM的支持需要额外配置。

3.3.2 Edge Impulse

Edge Impulse是一个端到端的TinyML开发平台，它提供了从数据采集、特征工程、模型训练到代码生成的全流程自动化。在ESP32上，Edge Impulse可以直接生成完整的Arduino或ESP-IDF工程，内置了PSRAM支持选项。其优势是开发效率极高，适合快速验证产品原型；缺点是模型结构相对固定，自定义算子困难，且对底层内存控制不如TFLM精细。

框架	内存控制粒度	PSRAM支持	自定义算子	开发效率	适合场景
TFLM	手动arena分配	需自定义分配器	支持	低	性能极致优化、研究
Edge Impulse	自动管理	内置选项	不支持	高	快速原型、产品验证

选型建议：如果你的课程项目需要深入理解PSRAM对推理性能的影响，建议选择TFLM，因为你可以精确控制模型权重和激活缓冲区的存放位置。如果目标是快速完成一个可演示的智能设备，Edge Impulse是更务实的选择。

3.4 实战场景：ESP32关键词唤醒模型部署

下面通过一个关键词唤醒（KWS）案例，完整展示TinyML工作流在ESP32上的落地过程，并重点说明PSRAM在其中的作用。

项目背景：需要设计一个电池供电的语音控制开关，要求识别“开灯”和“关灯”两个关键词，平均功耗低于5mA，响应延迟小于200ms。硬件采用ESP32-WROOM-32（4MB Flash，520KB SRAM，8MB PSRAM）。

初始现象：使用Edge Impulse训练了一个基于MFCC特征的DNN模型（输入为13×49的MFCC特征图），模型大小约180KB，量化后为45KB。直接部署后，推理延迟为85ms，但内存占用达到420KB，接近SRAM上限，导致系统在Wi-Fi开启时频繁重启。

分析过程：通过ESP32的堆栈分析工具发现，模型推理时激活缓冲区占用了约200KB SRAM，而模型权重虽然只有45KB，但被默认加载到SRAM中。由于Wi-Fi协议栈需要约100KB SRAM，导致内存不足。

优化操作：

将模型权重数组通过 ps_malloc() 分配到PSRAM中，仅将推理所需的tensor arena（约120KB）保留在SRAM中。
调整TFLM的arena大小，从默认的200KB缩减到120KB，并启用内存复用（通过tflite::MicroAllocator的优化选项）。
将MFCC特征提取的中间缓冲区也移至PSRAM，仅保留最终特征向量在SRAM中。

结果对比：优化后SRAM占用降至280KB，系统稳定运行；推理延迟从85ms略微增加到92ms（PSRAM读取速度低于SRAM），但仍在200ms预算内。功耗测试显示平均电流4.2mA，满足电池供电要求。

风险提示：PSRAM的读取速度约为SRAM的1/3~1/2，且存在总线竞争。如果模型对延迟极其敏感（如实时音频处理），建议将高频访问的激活缓冲区保留在SRAM，仅将低频访问的权重放在PSRAM。此外，PSRAM初始化需要时间，在低功耗模式下需要额外管理PSRAM的电源状态。

复盘经验：TinyML部署的内存优化不是简单的“全部放PSRAM”，而是需要根据数据访问频率进行分层存储。模型权重是只读的，适合放PSRAM；激活缓冲区是频繁读写的，应优先放SRAM。这个原则在后续章节的PSRAM读写速度优化中会反复用到。

3.5 常见误区与总结

在TinyML学习和实践中，以下误区需要特别警惕：

误区一：模型越小越好。模型过小可能导致精度不足，需要根据任务复杂度选择合适容量。ESP32上建议模型参数量控制在100KB~500KB之间。
误区二：量化后精度一定下降。对于分类任务，INT8量化通常精度损失小于1%；但如果模型存在敏感层（如BatchNorm），需要改用QAT。
误区三：PSRAM是万能的。PSRAM虽然容量大，但带宽有限。在需要高频数据访问的场景（如视频流处理），PSRAM可能成为瓶颈。
误区四：忽略算子支持。TFLM只支持有限算子集，某些高级算子（如LSTM的某些变体）可能无法在ESP32上运行，需要在训练时就考虑算子兼容性。