课程导入：学习目标、目标学员、课程结构、实战环境准备
实时推理延迟是边缘AI系统落地时最核心的工程指标之一。在NXP i.MX 8M Plus、i.MX 93等应用处理器上，NPU（神经网络处理单元）、CPU、GPU和DSP构成了异构计算资源池，而eIQ工具链则承担着将训练好的模型映射到这些硬件资源上的关键角色。本章作为整个实战课程的开篇，将明确学习目标与目标学员画像，梳理30章课程的整体结构，并重点完成实战环境的搭建——包括硬件板卡选型、SDK安装验证以及eIQ工具链的完整部署流程。只有环境准备无误，后续章节中关于量化、编译优化、多线程调度和延迟拆解的实战操作才有可靠的运行基础。
1.1 学习目标：从“能跑”到“跑得快”的工程跨越
本课程的核心目标不是教会学员如何训练一个高精度的深度学习模型，而是聚焦于模型在NXP硬件上部署后的实时推理延迟优化。完成全部30章学习后，学员应当具备以下四项核心能力：
- 延迟量化分析能力：能够使用perf、gprof、eIQ Profiler等工具对推理延迟进行细粒度拆解，准确区分数据预处理、模型推理、后处理三个阶段各自的耗时占比，定位瓶颈所在。
- 异构计算调度能力：理解NPU、CPU、GPU、DSP各自的计算特性和适用场景，能够根据模型结构（卷积层占比、全连接层占比、激活函数类型）合理分配计算资源，实现多核并行流水线。
- 模型压缩与量化实战能力：掌握INT8量化、权重剪枝、知识蒸馏等模型压缩技术，并能够在精度损失可控（通常<1% Top-1准确率下降）的前提下，将模型推理延迟降低2-5倍。
- 系统级调优能力：能够从内存带宽、缓存命中率、DMA传输、电源管理等多个系统层面进行综合调优，而非仅仅关注模型本身的计算量。
1.2 目标学员：嵌入式AI工程师的进阶之路
本课程面向具有一定嵌入式开发经验和基础AI知识的工程师，具体画像如下：
| 学员类型 | 前置技能要求 | 学习收益重点 |
|---|---|---|
| 嵌入式Linux工程师 | 熟悉C/C++、Linux驱动开发、交叉编译 | 掌握AI模型部署流程，理解NPU编程模型 |
| 算法工程师 | 熟悉Python、PyTorch/TensorFlow、模型训练 | 补齐嵌入式部署短板，理解量化与硬件约束 |
| 系统架构师 | 了解SoC架构、内存管理、多核调度 | 获得异构计算资源分配与系统级调优方法论 |
| 在校研究生 | 具备机器学习基础，有Linux使用经验 | 建立从算法到硬件的完整工程认知 |
需要特别说明的是，本课程不涉及模型训练阶段的网络结构创新设计，也不涉及底层NPU指令集的微架构优化——这些属于芯片设计厂商的范畴。课程聚焦于应用工程师能够直接掌控的优化空间：模型转换、量化策略、运行时调度、内存布局和系统配置。
1.3 课程结构：30章递进式实战体系
整个课程按照“基础环境 → 原理认知 → 工具实战 → 系统调优 → 综合项目”五个阶段组织，每章均包含理论讲解、动手实验和常见问题复盘三个环节。
| 阶段 | 章节范围 | 核心主题 | 实战产出 |
|---|---|---|---|
| 第一阶段 | 第1-4章 | 环境搭建、eIQ架构、模型转换流程 | 完成板卡部署环境，跑通第一个推理示例 |
| 第二阶段 | 第5-10章 | 延迟拆解方法论、Profiler使用、瓶颈定位 | 输出延迟分析报告模板与自动化脚本 |
| 第三阶段 | 第11-18章 | INT8量化、编译器优化、算子替换 | 完成模型压缩与精度验证实验 |
| 第四阶段 | 第19-26章 | 多线程调度、内存优化、电源管理 | 实现异构并行推理流水线 |
| 第五阶段 | 第27-30章 | 综合项目、性能调优实战、案例分析 | 完成YOLOv5s实时检测系统优化 |
课程设计遵循“每个结论必须有实验数据支撑”的原则。每一章提供的优化技巧，都会配套给出在特定硬件条件下的实测数据对比，包括延迟分布直方图、CPU占用率曲线和功耗变化趋势。学员在跟随操作时，应当在自己的板卡上复现这些数据，因为不同批次的芯片、不同版本的BSP可能会导致10%-20%的性能差异。
1.4 实战环境准备：硬件板卡选型与验证
本课程推荐使用NXP官方评估板卡，以确保驱动和工具链的兼容性。课程中的实验代码均基于以下两种板卡验证通过：
1.4.1 主推板卡：i.MX 8M Plus EVK
i.MX 8M Plus是NXP面向工业AIoT场景的高性能应用处理器，其NPU算力为2.3 TOPS（INT8），集成4个Cortex-A53核心（1.8GHz）和1个Cortex-M7核心（800MHz）。该板卡的关键规格如下：
- 内存：板载LPDDR4 4GB，64-bit总线，频率2400MT/s
- 存储：16GB eMMC + microSD卡槽
- 网络：千兆以太网 ×2，支持TSN
- 显示：HDMI 2.0a + MIPI-DSI
- 摄像头接口：MIPI-CSI ×2，支持ISP
- 调试接口：JTAG + 板载DAP-Link
在收到板卡后，建议按照以下流程完成硬件验证：
- 连接电源适配器（12V/3A），确认电源指示灯亮起
- 使用USB-C线连接调试串口（板载DAP-Link虚拟串口）
- 在主机终端执行
screen /dev/ttyUSB0 115200打开串口会话 - 板卡预烧录的Linux系统启动后，登录账号
root（无密码） - 执行
cat /proc/cpuinfo确认4个A53核心正常识别 - 执行
cat /sys/class/misc/ethos/modalias确认NPU设备节点存在
dmesg | grep ethos 无任何输出，需要手动烧录NPU固件。具体操作步骤将在第2章详细说明。建议在开始本课程前，先确认NPU设备节点 /dev/ethos0 存在。
1.4.2 备选板卡：i.MX 93 EVK
i.MX 93是NXP新一代面向边缘AI的处理器，集成Ethos-U65 NPU（6 TOPS），配备2个Cortex-A55核心（1.7GHz）和1个Cortex-M33核心。该板卡功耗更低，适合对功耗敏感的学员。但需要注意，i.MX 93的eIQ工具链版本与i.MX 8M Plus不完全相同，部分命令行参数存在差异，课程中会标注兼容性说明。
1.5 软件环境：SDK与eIQ工具链部署
软件环境的准备分为两个层面：主机开发环境（用于交叉编译、模型转换和调试）和板卡运行环境（用于实际推理和性能测量）。
1.5.1 主机环境要求
| 组件 | 最低要求 | 推荐配置 |
|---|---|---|
| 操作系统 | Ubuntu 20.04 LTS | Ubuntu 22.04 LTS |
| CPU | 4核 | 8核及以上 |
| 内存 | 8GB | 16GB及以上 |
| 磁盘空间 | 50GB | 100GB SSD |
| Python版本 | 3.8 | 3.10 |
1.5.2 eIQ工具链安装步骤
NXP eIQ工具链包含三个主要组件：eIQ Toolkit（主机端模型优化与转换工具）、eIQ Inference（板端推理运行时）和eIQ Profiler（性能分析工具）。安装流程如下：
# 1. 下载Yocto BSP镜像（以i.MX 8M Plus为例）
wget https://www.nxp.com/lgfiles/NMG/MAD/YOCTO/imx-5.15.71-2.2.0/imx8mplus-evk-image.tar.gz
# 2. 解压并烧录到SD卡（假设SD卡设备为/dev/sdb）
sudo tar -xzf imx8mplus-evk-image.tar.gz -C /media/sdroot
sync
# 3. 安装eIQ Toolkit到主机（需要Python 3.8+）
pip install eiq-toolkit==2.10.0
# 4. 验证安装
eiq --version
# 预期输出: eIQ Toolkit version 2.10.0
# 5. 板卡端确认eIQ Inference运行时
ssh root@<板卡IP> "eiq_inference --version"
# 预期输出: eIQ Inference runtime version 2.10.0lsblk 命令查看所有块设备，找到容量与SD卡匹配的设备。烧录完成后，重新插入SD卡，系统会自动挂载。如果启动时出现内核panic，检查是否使用了正确的设备树文件（imx8mp-evk.dtb）。
1.5.3 环境验证清单
完成上述安装后，执行以下验证流程，确保所有组件正常工作：
- NPU设备检测：
ls /dev/ethos0应返回设备节点 - 推理运行时测试：运行
eiq_inference --benchmark执行内置基准测试 - 交叉编译工具链：
aarch64-linux-gnu-gcc --version确认版本为10.2或更高 - 模型转换验证：使用eIQ Toolkit将TensorFlow Lite模型转换为NPU可执行的格式