1. 课程导入

嵌入式人工智能正在从“云端推理”向“端侧推理”快速迁移。当模型需要部署在Cortex-M系列微控制器上时，开发者面临的是KB级内存、百MHz级主频、无操作系统或轻量RTOS的严苛环境。CMSIS-NN与TFLite Micro是当前端侧推理的两大基石：前者是ARM官方提供的、针对Cortex-M内核深度优化的神经网络内核库；后者是Google主导的、专为微控制器设计的轻量级推理框架。本课程的核心目标，是帮助开发者打通“训练好的模型 → TFLite Micro解释执行 → CMSIS-NN算子加速”的完整链路，解决实际部署中遇到的性能瓶颈、内存碎片、算子兼容性等问题。

上图展示了本课程贯穿始终的三层加速架构。模型转换层负责将训练好的浮点模型转换为量化后的TFLite格式；运行时框架层负责解释执行、内存管理和算子分发；内核加速层则利用CMSIS-NN在Cortex-M硬件上实现极致性能。这三层相互依赖，任何一层的短板都会成为整个系统的瓶颈。

1.1 学习目标：从“能跑”到“跑得快”

本课程不满足于“把模型跑起来”的初级目标，而是追求在资源受限的MCU上实现毫秒级推理、KB级内存占用、低功耗运行。具体而言，完成本课程后，学员将具备以下能力：

• 模型量化与转换能力：掌握TensorFlow模型到TFLite的转换流程，理解动态范围量化、全整数量化、int16量化的适用场景，能够针对MCU的算力特点选择合适的量化方案。
• CMSIS-NN算子级优化能力：深入理解卷积、深度可分离卷积、全连接等核心算子的CMSIS-NN实现原理，能够根据输入尺寸、通道数、对齐要求选择最优的算子变体（如arm_convolve_s8 vs arm_convolve_wrapper_s8）。
• 内存规划与优化能力：掌握TFLite Micro的arena内存分配机制，能够通过调整算子执行顺序、复用中间张量、优化Tensor Arena大小来降低RAM峰值占用。
• 性能分析与调优能力：熟练使用Cycle Counter、ITM时间戳、RTT打印等工具进行算子级耗时分析，能够定位性能瓶颈并给出针对性的优化策略。
• 端到端部署能力：独立完成从模型训练、量化、转换、代码集成、硬件调试到性能验收的完整部署流程。

1.2 适用人群：谁需要这门课？

本课程面向具备一定嵌入式基础、希望进入AI部署领域的开发者。具体包括以下三类核心人群：

对于初学者，建议先补充Cortex-M架构基础（尤其是SIMD指令集和存储结构）以及基本的卷积神经网络原理。本课程在涉及相关知识点时会提供必要的背景说明，但不会从零开始讲授深度学习基础。

1.3 课程整体框架：三层递进，项目驱动

课程共30章，按照“基础认知 → 核心机制 → 联合优化 → 实战项目”四个阶段组织。每个阶段都有明确的知识交付物和技能验收标准。

1. 阶段一（第1-5章）：基础与工具链。包括CMSIS-NN架构解析、TFLite Micro框架原理、开发环境搭建（STM32CubeIDE + GCC + OpenOCD）、模型转换与量化工具链使用。
2. 阶段二（第6-15章）：算子级加速。深入剖析卷积、池化、全连接、激活函数等算子的CMSIS-NN实现，对比不同实现方式的性能差异，学习如何通过算子融合减少内存访问。
3. 阶段三（第16-24章）：运行时优化。聚焦TFLite Micro的调度机制、内存复用策略、多线程（CMSIS-RTOS2）下的推理加速、以及低功耗设计。
4. 阶段四（第25-30章）：综合实战与调优。以关键词唤醒（KWS）、视觉唤醒、异常检测三个完整项目为载体，进行端到端部署和性能调优实战。

1.4 学习路径与配套资源

为了最大化学习效果，课程设计了“理论讲解 → 代码演示 → 动手实验 → 项目挑战”的四步学习法。每章包含以下配套资源：

• 示例代码：完整的可编译工程，基于STM32F746-Discovery开发板，使用STM32CubeIDE作为主要IDE。
• 性能基准：提供各算子在典型输入尺寸下的Cycle数基准数据，方便学员对比自己的优化效果。
• 调试脚本：Python脚本用于解析RTT输出的性能日志，自动生成算子耗时热力图。
• 模型动物园：提供预转换的TFLite模型库，涵盖图像分类、物体检测、语音命令识别等常见任务。

课程实验环境推荐配置如下：

1.5 常见误区与学习建议

根据过往教学经验，学员在学习本课程时容易陷入以下误区，需要特别警惕：

最后，建议学员在学习过程中养成记录性能基线的习惯。每完成一个优化步骤，都记录当前的推理时间、RAM占用、Flash占用。这样不仅能够清晰看到优化效果，还能在出现性能回退时快速定位问题。课程第5章将提供一套完整的性能记录模板。