📚 课程目录第1章课程导论

1. 课程导论：为什么Cortex-M需要AI？嵌入式AI的现状与挑战

很多人问我，Cortex-M 这种资源受限的 MCU，跑 AI 是不是有点勉强？

说实话，五年前我也这么想。那时候 AI 是云端的专利，GPU 集群、TPU 加速卡才是主角。MCU 嘛，老老实实做控制、采数据就好。

但后来我遇到一个项目，彻底改变了看法。

那是一个工业振动监测设备，要求实时检测电机异常。数据量不大，但延迟必须控制在 10ms 以内。如果走无线传到云端推理，来回至少 200ms，根本来不及。而且客户要求整机功耗低于 50mW——用电池供电，得撑一年。

你想想看，这种场景下，把 AI 推理放在 Cortex-M 上，几乎是唯一的选择。

  核心观点： 嵌入式 AI 不是要替代云端 AI，而是解决「低延迟、低功耗、高隐私」这三个云端搞不定的问题。

先看一组数据。我整理了一下目前主流的嵌入式 AI 方案：

可以看到，纯 MCU 方案的算力其实很有限。但为什么还要做？

因为成本。一颗 Cortex-M4 芯片不到 2 美元，而带 NPU 的芯片要 5~10 美元，Cortex-A 方案更是几十美元起步。对于消费电子、传感器节点这类对成本极度敏感的产品，纯 MCU 方案是唯一能走量的路径。

我在一个智能门锁项目里就吃过这个亏。最初选了带 NPU 的芯片，功能确实强，但 BOM 成本超了 40%，客户直接砍单。后来换成 Cortex-M4，用模型裁剪把参数量压到 200KB 以内，推理精度只掉了 1.2%，成本却降了 60%。

我的建议： 选方案之前，先问自己三个问题——功耗上限是多少？成本上限是多少？精度最低能接受多少？这三个数字定下来，方案基本就定了。

嵌入式 AI 看着美好，落地时全是细节。我列几个最常见的挑战：

内存太小：Cortex-M4 的 SRAM 通常只有 64~256KB，Flash 也就 512KB~2MB。一个 MobileNetV1 模型就要 4MB 参数，根本放不下。
算力不够：没有硬件乘法器加速，卷积运算全靠 CPU 硬算。一个 3x3 卷积在 M4 上跑一次要几百个周期，实时性很难保证。
工具链不成熟：TensorFlow Lite Micro、CMSIS-NN 这些框架虽然能用，但坑不少。我记得有一次模型量化后精度直接崩了，查了两天才发现是某个激活函数的数值范围没对齐。
调试困难：没有 GPU 那种可视化调试工具，推理结果不对，只能靠串口打印中间张量。我曾经为了定位一个卷积核索引越界的问题，硬是打印了 2000 多行数据。

避坑指南： 我曾经在一个项目中，模型在 PC 端仿真精度 98%，部署到 M4 上直接降到 72%。原因是 PC 端用的 float32，M4 上量化成 int8 后，某些层的激活值被截断了。从那以后，我养成了一个习惯——量化前先跑一遍激活值分布统计，看看有没有离群点。

这门课的核心逻辑其实很简单：怎么把一个大模型塞进小芯片，并且跑得快、跑得稳。

我画了一张图，帮你快速建立整体认知：

这门课一共 30 章，我把它分成四个阶段：

学习建议： 每章都配有完整的工程代码，在 STM32F4 和 STM32H7 两个平台上验证过。我建议你手边放一块开发板，边学边跑。光看不动手，学完就忘。

这门课不是零基础入门。我假设你已经具备：

如果你还不会训练模型，没关系。我会提供预训练好的模型，你只需要关注部署和优化部分。

注意： 如果你完全没接触过嵌入式开发，建议先补一下 Cortex-M 的基础知识。否则后面讲内存映射、MPU 配置、DMA 传输时，可能会跟不上。

做嵌入式 AI 这几年，我最大的感受是：没有银弹。

每个项目都有自己的约束条件。有的要求极致低功耗，有的要求毫秒级响应，有的要求成本控制在 1 美元以内。没有一套方案能通吃所有场景。

但好消息是，方法论是通用的。内存裁剪和推理加速的核心思想，不管芯片怎么变、框架怎么变，底层逻辑不会变。这门课教的就是这些底层逻辑，再加上我踩过的坑、总结的经验。