1. 课程导论：嵌入式AI的现状与挑战，模型剪枝与量化的核心价值，MCU部署的典型流程

各位同学，欢迎来到《嵌入式AI模型剪枝与MCU部署推理调试实战》的第一章。

我是你们这门课的主讲。做了十几年嵌入式固件，这几年又一头扎进AI部署的坑里。说实话，这个领域变化太快了。今天这节导论课，我不打算讲太多虚的，就想跟你聊聊：为什么我们要在MCU上跑AI？这事儿到底难在哪？以及我们这门课打算怎么帮你搞定它。

1.1 嵌入式AI的现状：从云端到指尖的迁徙

几年前，大家聊AI，默认就是“上云”。摄像头拍张图，传到服务器，算完再返回结果。延迟高、功耗大、还依赖网络。我记得2018年做一个工业视觉项目，现场网络一抖，产线就得停，老板急得直拍桌子。

现在不一样了。边缘计算、端侧推理成了主流。说白了，就是把AI模型直接塞进设备里，让它在本地就能做决策。而MCU，就是这场“迁徙”的最后一公里。

为什么是MCU？你看看这几个数字：

指标	云端GPU服务器	手机SoC (NPU)	MCU (Cortex-M)
功耗	几百瓦	几瓦	毫瓦级
成本	数万元	几百元	几元到几十元
实时性	依赖网络	较好	硬实时
算力	无限	TOPs级别	几十到几百MOPS

看到没？MCU的优势在于极致的成本、功耗和实时性。但代价就是——算力极其有限。你不可能把ResNet-152直接扔到Cortex-M4上跑，那会直接卡死。

1.2 模型剪枝与量化：给AI模型“瘦身”的两把手术刀

既然模型太大跑不动，那就把它变小。怎么变？主要有两招：剪枝和量化。

1.2.1 模型剪枝：砍掉不重要的连接

一个训练好的神经网络，其实有很多冗余。有些神经元权重接近0，有些通道对最终结果贡献很小。剪枝，就是把这些“摸鱼”的部分去掉。

我习惯把剪枝分成两类：

• 非结构化剪枝： 把单个权重置为0。模型变稀疏了，但硬件不友好，加速效果有限。
• 结构化剪枝： 直接砍掉整个通道或卷积核。模型结构变“瘦”了，能直接获得推理加速。

举个例子，一个原本有64个通道的卷积层，剪掉32个不重要的通道，参数量直接减半。你想想看，这对MCU意味着什么？意味着Flash占用少一半，推理速度快一倍。

1.2.2 模型量化：用更少的比特表示数据

剪枝是砍结构，量化是压缩精度。神经网络训练时通常用32位浮点数（FP32）。但推理时，我们真的需要这么高的精度吗？

不一定。很多场景下，8位整数（INT8）就够了。甚至极端情况下，2位、1位（二值化）也能用。

量化的核心价值：

• 模型体积缩小4倍： 从FP32到INT8，存储直接变1/4。
• 推理速度提升2-4倍： 整数运算比浮点快得多，尤其是在没有FPU的MCU上。
• 内存带宽压力骤减： 每次搬运的数据量小了，Cache命中率也高了。

1.3 MCU部署的典型流程：从PyTorch到裸机

好了，模型剪枝和量化都做完了，怎么把它部署到MCU上？这可不是简单的“模型转换”就完事了。我总结了一个五步流程，也是咱们这门课的主线：

1. 模型训练与优化： 在PC上用PyTorch/TensorFlow训练模型，并完成剪枝和量化。
2. 模型转换与导出： 把训练好的模型转换成MCU推理框架支持的格式（如TFLite Micro、TensorRT、ONNX Runtime等）。
3. 固件集成与编译： 把转换后的模型文件、推理引擎、应用代码一起编译成MCU固件。
4. 板级调试与验证： 烧录固件，在真实硬件上跑推理，验证精度和性能。
5. 性能调优与迭代： 根据实测结果，调整剪枝率、量化参数，甚至修改模型结构，重新迭代。

下面这张图，就是整个流程的骨架。你把它记在心里，后面每一章都是围绕它展开的。

1.4 这门课能帮你解决什么？

市面上讲AI的课很多，讲嵌入式的课也很多。但把两者真正打通，尤其是聚焦在MCU部署和调试这个环节的，很少。

这门课，我会带你：

• 从零搭建一个完整的嵌入式AI项目，而不是只讲理论。
• 手把手教你剪枝和量化的实操方法，包括那些“坑”怎么绕过去。
• 深入MCU底层，看推理引擎到底是怎么跑起来的，遇到Bug怎么调。
• 用真实的硬件（比如STM32、ESP32）做演示，代码全部开源。