1. 课程导论与嵌入式AI概述

大家好，我是你们这门课的主讲。在嵌入式Linux这个领域摸爬滚打了十几年，从最早做工控板卡，到后来搞智能摄像头、边缘计算盒子，踩过的坑确实不少。今天咱们聊的这门课，说白了就是想把「怎么把训练好的AI模型，塞进嵌入式Linux设备里，并且让它跑得又快又稳」这件事，给你讲透。

你可能会问：为什么非得是嵌入式Linux？单片机跑TinyML不行吗？当然行。但当你面对复杂的网络结构、需要多路视频流、或者要接各种外设时，Linux的生态优势就体现出来了。我个人习惯把嵌入式AI部署看作一个「翻译+优化」的过程——把Python世界里训练好的模型，翻译成能在C语言和ARM芯片上高效运行的代码。

1.1 什么是嵌入式AI

嵌入式AI，也叫边缘AI。它不是某个具体的算法，而是一整套工程实践。简单来说，就是把AI推理能力，从云端数据中心，搬到离数据源更近的终端设备上。

举个例子。我几年前做过一个项目，需要在工业相机里实时检测产品缺陷。如果每帧图像都上传到云端服务器，网络延迟加上处理时间，产线根本跑不起来。后来我们把一个轻量化的YOLO模型直接部署在相机内部的ARM板子上，推理延迟从几百毫秒降到了30毫秒以内。这就是嵌入式AI的价值。

它和云端AI的区别很明显：

维度	云端AI	嵌入式AI
算力	GPU集群，TFLOPS级别	ARM CPU/NPU，几TOPS到几十TOPS
内存	几十GB到TB级	几百MB到几GB
功耗	几百瓦到千瓦	几瓦到十几瓦
实时性	依赖网络，延迟高	本地推理，毫秒级响应
成本	服务器昂贵，带宽成本高	单板成本低，无带宽费用

1.2 模型部署的挑战

嗯，这里要注意。很多同学在PC上跑通了一个模型，就以为部署很简单。实际上，从PyTorch/TensorFlow到嵌入式设备，中间隔着好几座大山。

挑战一：硬件碎片化

嵌入式芯片厂商太多了。瑞芯微、全志、恩智浦、TI、树莓派的BCM系列……每家都有自己的NPU架构和推理库。你为A平台优化的代码，拿到B平台可能完全跑不起来。我曾经在一个项目里，为了适配三款不同厂家的开发板，写了三套不同的后处理代码，那感觉，真是一言难尽。

挑战二：模型精度与速度的博弈

模型量化是必由之路。把FP32的权重变成INT8，推理速度能快2-4倍，内存占用也大幅下降。但量化带来的精度损失，有时候会让你抓狂。我记得有一次，一个分类模型量化后，准确率从98%掉到了85%，排查了两天才发现是某个激活层的量化参数没校准好。

挑战三：内存与带宽瓶颈

嵌入式设备的内存带宽通常很有限。一个3MB的模型参数，如果频繁在DDR和NPU之间搬运，延迟会非常难看。你需要考虑模型的分层加载、内存复用、甚至DMA传输的优化。

挑战四：工具链不成熟

相比NVIDIA的CUDA生态，嵌入式AI的工具链还处于「战国时代」。转换工具报错信息不友好、算子不支持、文档缺失……这些都是家常便饭。你想想看，花了一天时间把模型转成了.rknn格式，结果跑起来发现某个卷积层结果全是0，这种经历，我猜不少人都遇到过。

1.3 课程目标与学习路径

这门课的目标很明确：让你具备独立完成嵌入式Linux模型部署的能力，并且能针对性能瓶颈进行调优。

具体来说，学完这门课，你应该能：

• 独立完成从模型训练到嵌入式端推理的全流程。
• 熟练使用ONNX、NCNN、Tengine、RKNN等主流推理框架。
• 掌握模型量化、算子融合、内存优化等性能调优手段。
• 具备分析推理延迟、内存占用、功耗等指标的能力。

我们的学习路径，我把它设计成了四个阶段：

1. 基础篇（第1-8章）：搭建交叉编译环境，理解Linux内核驱动与NPU交互的基本原理，跑通第一个分类模型。
2. 框架篇（第9-16章）：深入主流推理框架的API与底层实现，学会模型转换与精度验证。
3. 优化篇（第17-24章）：量化、剪枝、算子替换、多线程流水线，把性能压榨到极致。
4. 实战篇（第25-30章）：结合摄像头、麦克风、传感器，完成一个完整的端侧AI应用。

下面这张图，可以帮你快速建立整个课程的知识体系：