1. 课程导入与NPU部署全景

在嵌入式端侧AI应用中，i.MX系列处理器通过集成NPU（Neural Processing Unit，神经网络处理单元）为视觉、语音和传感器融合类模型提供硬件加速。本课程围绕“模型如何从训练框架走到i.MX板卡上稳定运行”这一主线展开，覆盖硬件架构、推理部署流程、工具链与学习路径。本章先建立全局认知：NPU在SoC中的位置、推理任务的数据通路、部署链路的关键环节，以及后续章节将逐一展开的工具与实操。

一、i.MX系列NPU硬件架构概览

以i.MX 8M Plus和i.MX 93为代表，NPU并非独立芯片，而是SoC内部的一个加速子系统。它通常包含以下关键组成：

• NPU核心与MAC阵列：负责卷积、矩阵乘等算子的并行乘加运算，是算力（TOPS）的主要来源。
• 片上SRAM/TCM：用于暂存权重、激活值和中间张量，减少对DDR的频繁访问，降低延迟与功耗。
• DMA与总线接口：在DDR、NPU和CPU之间搬运数据，决定数据供给能否跟上计算节奏。
• CPU与GPU/NPU协同：CPU负责调度、前后处理和算子回退；GPU可承担部分并行预处理或后处理。
• 驱动与运行时：Linux内核驱动、用户态运行时库和固件共同把上层推理请求翻译为NPU可执行的指令流。

需要特别注意的是，NPU的算力只有在数据供给、算子支持和内存带宽匹配时才能充分发挥。例如，一个模型若包含大量NPU不支持的算子，就会频繁回退到CPU执行，实际端到端延迟可能远高于理论算力推算值。因此，理解硬件架构的目的不是记住参数，而是判断“哪些模型适合上NPU、瓶颈可能出现在哪里”。

二、推理部署流程：从训练模型到板端运行

端侧推理部署不是“把模型拷到板子上”这么简单，而是一条包含多个转换与验证环节的链路。典型流程如下：

1. 模型训练与导出：在PyTorch/TensorFlow中完成训练，导出为ONNX或SavedModel。此时需确认输入输出张量形状、数据类型和算子集合。
2. 模型转换与量化：使用NXP eIQ工具链中的转换工具，将模型转为NPU可执行的格式。常见做法是进行训练后量化（PTQ），将FP32权重和激活转为INT8，以降低内存占用并提升NPU利用率。
3. 算子兼容性检查：转换工具会报告哪些算子被NPU支持、哪些需要回退到CPU。若回退过多，需调整模型结构或替换算子。
4. 板端部署与推理：将转换后的模型、运行时库和应用程序部署到i.MX板卡，通过C/C++或Python API加载模型并执行推理。
5. 性能与精度验证：测量端到端延迟、NPU利用率和内存占用，同时对比量化前后的精度差异，判断是否满足应用要求。

以图像分类为例，假设输入为224×224×3的RGB图像，模型为MobileNetV2。在i.MX 8M Plus上，若全部算子被NPU支持，单帧推理延迟可能在十几毫秒量级；若部分算子回退到CPU，延迟可能翻倍。这个示例说明：部署流程中每一步都会影响最终性能，不能只关注转换是否成功。

三、工具链概览

NXP为i.MX NPU提供了eIQ软件栈，核心组件包括：

• eIQ Toolkit：模型转换、量化、编译和性能分析的集成环境。
• ONNX/TFLite转换器：将训练框架模型转为NPU可执行格式。
• NPU运行时库：提供模型加载、推理执行和内存管理接口。
• Linux BSP与驱动：包含NPU内核驱动、固件和设备树配置。
• 示例应用与基准测试：用于快速验证模型在板端的实际表现。

工具链的使用顺序通常是：先转换、再量化、后编译，最后在板端加载运行。每一步都有对应的日志和报告，部署时应养成“先看报告、再上板”的习惯。

四、学习路径规划

本课程共30章，建议按以下路径推进：

• 基础认知（第1-5章）：理解NPU架构、部署流程和工具链，完成环境搭建与第一个模型转换。
• 模型转换与量化（第6-12章）：掌握ONNX/TFLite转换、PTQ量化、算子兼容性分析和精度评估。
• 板端部署与编程（第13-20章）：学习运行时API、内存管理、多线程推理和前后处理集成。
• 性能优化与排障（第21-26章）：分析延迟瓶颈、优化数据通路、处理常见部署错误。
• 综合实战（第27-30章）：完成一个完整的端侧视觉应用，从模型到板端部署全流程闭环。