课程导入：TinyML在MCU上的应用背景、内存与延迟的权衡关系、课程学习目标与整体框架
TinyML（微型机器学习）是指在资源极度受限的微控制器（MCU）上部署和运行机器学习模型的技术。随着物联网设备数量的爆发式增长，将智能推理能力从云端下沉到终端设备已成为必然趋势。然而，MCU通常只有几十KB到几MB的Flash和RAM，主频也仅在几十MHz到几百MHz之间。在这样的硬件约束下，模型的内存占用与推理延迟成为一对天然矛盾：模型越大、精度越高，内存占用越大，延迟也越长；而压缩模型、量化参数，又可能导致精度损失或计算效率下降。本课程将系统性地拆解这对矛盾，帮助你在实际项目中找到最优平衡点。
上图展示了本课程的核心矛盾与解决路径。左侧是MCU的硬件资源约束，右侧是TinyML应用的功能需求，中间则是我们需要通过工程手段调和的权衡关系。底部列出了四大优化策略，它们将贯穿整个课程。理解这张图，你就掌握了本课程的宏观地图。
1.1 TinyML在MCU上的应用背景
核心原理：为什么需要TinyML？
传统物联网架构中，传感器数据通过Wi-Fi/蜂窝网络上传至云端，由云端AI模型推理后返回结果。这种模式存在三个致命问题：网络依赖（断网即失效）、延迟不可控（往返可能数百毫秒）、隐私风险（原始数据外传）。TinyML将推理过程放在本地MCU上，从根本上解决了这些问题。以关键词唤醒为例，智能音箱的语音芯片在本地完成"小爱同学"的检测，只有确认唤醒词后才上传后续语音，既降低了功耗，又保护了用户隐私。
当前MCU的算力已足够支撑轻量级模型。ARM Cortex-M4/M7系列支持DSP指令，Cortex-M33/M55增加了Helium向量扩展，配合CMSIS-NN软件库，可以在200MHz主频下实现每秒数百万次乘加运算。这为在MCU上运行CNN、RNN等模型提供了硬件基础。
典型应用场景
| 应用领域 | 具体场景 | 典型MCU | 模型类型 | 内存预算 |
|---|---|---|---|---|
| 智能家居 | 语音唤醒、手势识别 | ESP32-S3 | DNN/CNN | 200-400KB |
| 工业预测性维护 | 振动异常检测 | STM32L4 | 1D-CNN | 50-150KB |
| 可穿戴设备 | 心率/步态识别 | nRF52840 | RNN/TCN | 100-300KB |
| 农业物联网 | 害虫图像分类 | i.MX RT1062 | MobileNetV1 | 500KB-1MB |
| 安防监控 | 人体检测 | STM32H7 | YOLO-Tiny | 800KB-1.5MB |
从上表可以看出，不同场景对内存和延迟的要求差异巨大。语音唤醒需要<10ms的响应，而振动检测允许50ms的延迟。这决定了我们在后续章节中需要针对具体场景做不同的优化策略。
案例拆解：智能门锁的人脸识别
某智能门锁厂商需要在现有MCU（Cortex-M7, 480MHz, 2MB Flash, 1MB RAM）上增加人脸识别功能。初始方案直接使用MobileNetV2（alpha=1.0），模型大小14MB，RAM占用8MB，远超硬件资源。工程师尝试直接量化到int8后，模型仍有3.5MB，RAM占用2MB，依然无法运行。最终通过以下步骤解决：
- 模型裁剪：将alpha从1.0降至0.35，模型降至1.8MB
- 知识蒸馏：用大模型指导小模型训练，精度仅损失2.1%
- 算子替换：将标准卷积替换为深度可分离卷积，RAM降至800KB
- 内存复用：将输入图像缓冲区和中间特征图复用同一块内存，最终RAM占用450KB
最终方案在门锁上实现了200ms的推理延迟，满足开锁响应要求。这个案例说明，内存优化不是单一手段，而是模型、算子、内存管理三个层面的协同。
1.2 内存与延迟的权衡关系
核心原理：为什么内存和延迟会冲突？
内存与延迟的冲突源于三个层面：数据搬运、计算密度和缓存机制。MCU没有复杂的分级缓存架构，CPU直接访问Flash和RAM。Flash读取速度慢（约30-50ns），RAM读取快（约10ns），但RAM容量有限。当模型权重超过RAM容量时，只能从Flash流式读取，导致计算单元等待数据，延迟急剧上升。
另一个矛盾点是计算图的内存分配策略。为了降低延迟，我们希望所有中间结果都保存在RAM中，避免重复计算；但RAM有限，必须牺牲部分计算来换取内存空间。例如，在推理时重新计算某些层的输出，而不是缓存所有中间结果，这就是"时间换空间"的典型策略。
量化对权衡的影响
量化是平衡内存和延迟的最有效手段。以int8量化为例：
- 内存优势：模型大小减少4倍（float32→int8），RAM占用同步减少
- 延迟优势：int8乘加运算在Cortex-M系列上比float32快2-4倍
- 精度代价：通常损失1-3%的精度，但可通过量化感知训练补偿
然而，量化并非没有代价。int8运算需要额外的反量化/再量化操作，如果模型层数较浅，这些额外操作可能抵消计算加速。因此，量化策略需要结合具体模型和硬件特性做基准测试。
案例拆解：关键词唤醒的延迟预算分配
一个关键词唤醒系统要求端到端延迟<50ms，MCU主频100MHz。系统分为三部分：音频采集（10ms）、特征提取（15ms）、模型推理（25ms）。工程师通过性能分析发现，模型推理中的MFCC特征计算占用了12ms，而DNN推理仅占13ms。优化措施：
- 将MFCC的FFT从float32改为int16定点计算，延迟降至6ms
- 将DNN从float32量化为int8，延迟降至5ms
- 总延迟变为10+6+5=21ms，远低于50ms预算
这个案例展示了延迟预算需要逐模块分解，找出瓶颈后针对性优化。同时，内存占用从原来的120KB降至45KB，为其他功能腾出了空间。
1.3 课程学习目标与整体框架
学习目标
完成本课程后，你将能够：
- 诊断内存瓶颈：使用工具分析模型的内存占用分布，定位RAM消耗大户
- 实施模型压缩：独立完成剪枝、量化、蒸馏等操作，在精度损失可控的前提下压缩模型
- 优化推理延迟：利用CMSIS-NN、内联汇编等技术，将算子执行效率提升至硬件极限
- 设计内存复用方案：为推理引擎设计静态内存分配策略，避免动态分配带来的碎片和不确定性
- 制定延迟预算：为实时系统建立可验证的延迟模型，确保最坏情况下的响应时间
课程框架
| 模块 | 章节范围 | 核心内容 | 实践项目 |
|---|---|---|---|
| 基础篇 | 第1-5章 | MCU架构、模型量化、内存分析工具 | 在STM32上部署int8 MNIST |
| 模型优化篇 | 第6-12章 | 剪枝、蒸馏、神经架构搜索 | 压缩MobileNet至200KB |
| 算子优化篇 | 第13-18章 | CMSIS-NN、汇编优化、循环展开 | 实现手写Conv2d算子 |
| 内存工程篇 | 第19-24章 | 内存池、静态分配、Flash映射 | 设计推理引擎内存管理器 |
| 系统集成篇 | 第25-30章 | RTOS集成、功耗优化、端到端调试 | 完整智能门锁方案 |
学习方法建议
本课程强调"理论+实践"双轮驱动。每章包含：
- 原理讲解：用直观的图示和类比解释底层机制
- 代码示例：提供可在真实MCU上运行的工程代码
- 实验任务：每章配套一个可量化的实验目标
- 排障指南：总结常见问题及调试方法
建议你准备一块开发板（推荐STM32F746G-DISCO或ESP32-S3-DevKitC），边学边练。遇到问题时，先尝试自己分析，再参考课程中的排障流程。
在接下来的章节中，我们将从MCU的存储架构开始，逐步深入模型压缩、算子优化、内存管理等主题。每一章都会围绕一个核心问题展开，并提供可复用的解决方案。让我们开始这段TinyML优化之旅吧。