课程导入：学习目标、目标学员、课程结构、实战环境准备
在端侧AI与实时控制深度融合的今天，NPU（神经网络处理单元）与MCU（微控制器）的协同工作已成为智能硬件的主流架构。然而，当NPU负责推理、MCU负责实时控制时，两者之间的延迟预算分配往往成为系统性能的隐形瓶颈——推理结果到达太晚，控制环路就会失稳；控制任务抢占过多CPU时间，NPU数据供给又会中断。本课程旨在系统化拆解这一难题，从理论建模到工程落地，帮助学员建立一套可量化、可验证的延迟预算分配方法论。
上图展示了本课程的核心框架：NPU计算域、通信同步域与MCU控制域三者之间的延迟构成与交互关系。在实际项目中，工程师往往只关注单个模块的优化，却忽略了跨域交互带来的系统性延迟。例如，NPU推理本身可能只需5ms，但加上DMA搬运、核间中断、共享内存竞争后，端到端延迟可能膨胀到15ms以上。本课程将围绕这一核心问题，从理论到实践层层展开。
1.1 学习目标：从“能用”到“可量化”
完成本课程学习后，学员将具备以下五项核心能力：
| 能力维度 | 具体目标 | 可验证成果 |
|---|---|---|
| 延迟建模 | 掌握端到端延迟的分解方法，建立各阶段延迟的数学模型 | 能绘制系统延迟瀑布图，定位瓶颈阶段 |
| 预算分配 | 根据控制周期和推理频率，科学分配各环节的延迟预算 | 输出延迟预算分配表，满足控制稳定性要求 |
| 工具链使用 | 熟练使用硬件定时器、逻辑分析仪、性能计数器等工具 | 完成一次完整的延迟测量与验证 |
| 优化策略 | 掌握缓存预取、双缓冲、优先级反转规避等优化手段 | 在实战项目中降低端到端延迟20%以上 |
| 故障排查 | 能快速定位延迟超限的根因，区分硬件/软件/架构问题 | 输出一份延迟问题排查报告 |
核心原则：延迟预算不是“事后测量”的结果，而是“事前设计”的输入。在系统架构阶段就应明确每个环节的延迟上限，并在开发过程中持续验证。
1.2 目标学员：谁需要这门课？
本课程面向三类核心人群，每类人群的关注点和收益各有侧重：
- 嵌入式软件工程师（MCU方向）：负责实时控制逻辑开发，需要理解NPU推理结果如何安全、及时地融入控制环路。重点关注通信机制、中断优先级设计和共享资源保护。
- AI应用工程师（NPU方向）：负责模型部署和推理优化，需要了解推理延迟对下游控制的影响。重点关注模型裁剪、量化对延迟的改善，以及如何与MCU侧协同设计。
- 系统架构师/项目技术负责人：负责整体方案设计和技术决策。需要掌握延迟预算的顶层分解方法，能够在项目初期做出合理的硬件选型和架构决策。
学员需具备的基础知识包括：C语言编程能力、基本的嵌入式系统概念（中断、定时器、DMA）、对神经网络推理的基本认知。如果学员有RTOS（如FreeRTOS、RT-Thread）使用经验，学习效果更佳。
1.3 课程结构：六阶段递进式学习路径
本课程共30章，分为六个递进阶段，每个阶段解决一类核心问题：
| 阶段 | 章节范围 | 主题 | 关键产出 |
|---|---|---|---|
| 第一阶段 | 第1-4章 | 基础概念与工具准备 | 延迟测量环境搭建、基线数据采集 |
| 第二阶段 | 第5-10章 | 延迟建模与预算分解 | 系统延迟模型、预算分配表 |
| 第三阶段 | 第11-16章 | 通信机制与同步优化 | 高效数据通路设计、零拷贝方案 |
| 第四阶段 | 第17-22章 | NPU推理延迟优化 | 模型压缩、算子融合、硬件加速 |
| 第五阶段 | 第23-27章 | MCU侧实时性保障 | 中断管理、任务调度、资源保护 |
| 第六阶段 | 第28-30章 | 综合实战与调优复盘 | 完整项目案例、性能调优报告 |
每个章节都包含理论讲解、代码示例、实战演练和常见误区分析。建议学员按照顺序学习，因为后续章节会复用前面章节建立的模型和工具链。
1.4 实战环境准备：硬件平台与软件工具链
本课程的所有实验均基于一套典型的NPU+MCU异构平台。学员可以选择使用课程提供的虚拟机镜像，或自行搭建等效环境。
硬件平台要求
| 组件 | 推荐型号 | 关键参数 | 用途 |
|---|---|---|---|
| 主控MCU | STM32H743 | Cortex-M7 @ 480MHz，2MB Flash，1MB RAM | 实时控制、通信调度 |
| NPU协处理器 | 瑞芯微RK3588 | 6 TOPS NPU，四核A76+四核A55 | 神经网络推理、图像处理 |
| 通信接口 | PCIe 2.0 x1 / SPI 40MHz | 理论带宽 500MB/s / 5MB/s | NPU与MCU数据交换 |
| 调试工具 | J-Link V11 + 逻辑分析仪 | 20通道，100MHz采样率 | 时序测量、协议分析 |
| 传感器模拟 | 信号发生器 + 电位器组 | 0-3.3V模拟量输出 | 模拟真实传感器输入 |
注意：如果学员使用其他型号的MCU或NPU，课程中的原理和方法仍然适用，但具体的寄存器配置、驱动代码需要根据实际芯片手册进行调整。建议优先使用课程推荐的硬件组合，以便对照实验数据。
软件工具链清单
# 必需工具链
1. STM32CubeIDE 1.15+ # MCU开发环境
2. RKNN-Toolkit2 2.0+ # NPU模型转换与推理部署
3. OpenOCD 0.12+ # 调试与烧录
4. Python 3.10+ # 数据分析与可视化
5. Wireshark 4.0+ # 通信协议分析（可选）
# 推荐辅助工具
6. SystemView 3.1+ # RTOS行为分析
7. Perfetto # 系统级性能追踪
8. Jupyter Notebook # 延迟数据建模
# 固件库
9. STM32CubeH7 V1.11+ # MCU外设驱动库
10. RKNPU Runtime 2.0+ # NPU推理运行时环境验证流程
在开始课程实验前，请按以下步骤验证环境是否就绪：
- 硬件连接检查：确认MCU与NPU之间的PCIe/SPI链路物理连接正常，用示波器测量时钟信号。
- 最小系统测试：分别烧录MCU的LED闪烁程序和NPU的Hello World推理程序，验证各自独立工作。
- 通信环回测试：编写简单的数据回传程序，MCU发送0x5A，NPU接收后原样返回，验证双向通信。
- 延迟基线测量：使用逻辑分析仪测量一次完整通信的物理延迟，记录为后续优化的基准值。
经验提醒：在搭建环境时，建议先使用SPI接口进行初步验证，因为SPI协议简单、调试方便。待通信逻辑稳定后，再切换到PCIe接口以获得更高带宽。这种渐进式开发方式能显著降低排障难度。
1.5 常见误区与课程学习建议
根据过往教学经验，学员在学习本课程时容易陷入以下误区：
- 误区一：只关注平均延迟，忽略最坏情况延迟。在实时控制系统中，最坏情况延迟才是决定系统稳定性的关键指标。课程中会专门讲解如何测量和分析尾延迟（Tail Latency）。
- 误区二：将NPU和MCU的优化割裂进行。实际上，两者之间的接口设计往往比单侧优化更重要。例如，合理的数据分块大小可以同时减少NPU的等待时间和MCU的拷贝开销。
- 误区三：过早进行底层优化。建议先完成系统级的延迟建模和预算分配，再针对瓶颈环节进行底层优化。否则可能事倍功半。
为了获得最佳学习效果，建议学员准备一个实际项目作为练习对象。可以是一个简单的图像分类+舵机控制场景，也可以是一个语音唤醒+电机启停场景。将课程中的方法应用到自己的项目中，才能真正掌握延迟预算分配的精髓。