课程导入：了解RKNN多核NPU调度的背景、学习目标、课程整体框架及适用场景
随着边缘AI应用从简单的分类检测走向复杂的多路视频分析、大模型推理和实时决策系统，单核NPU的算力天花板已成为制约产品落地的关键瓶颈。RK3588、RK3576等瑞芯微旗舰平台搭载的三核/双核NPU，虽然峰值算力可观，但若缺乏合理的调度策略，实际吞吐量往往只能发挥出标称性能的40%-60%。本课程聚焦RKNN工具链下的多核NPU调度技术，帮助开发者从“能用NPU”走向“用好NPU”，系统掌握模型并发执行与核心资源分配的工程方法论。
1.1 为什么需要多核NPU调度
核心原理：从单核到多核的算力跃迁
RK3588搭载的NPU采用三核架构，理论算力达6 TOPS（INT8）。但实际工程中，单核运行一个YOLOv5s模型时，帧率可能仅为30-40 FPS；而如果同时运行三个轻量级模型（如人脸检测+关键点+属性分类），单核串行执行的总延迟会成倍增加。多核调度的本质，是将计算任务在多个NPU核心间进行空间（不同核心跑不同模型）和时间（同一核心分时复用）的二维编排，从而逼近“算力利用率=核心数×单核效率”的理想上限。
从系统架构视角看，RKNN多核调度涉及三个层次：模型层（如何将模型切分为可并行的子图）、运行时层（RKNN Runtime如何管理核心分配与任务队列）、应用层（开发者如何通过API控制调度策略）。本课程将逐层拆解，帮助读者建立从底层机制到上层调用的完整认知。
判断方法：何时需要多核调度
并非所有场景都需要多核调度。以下三个条件满足任意两个时，应当考虑引入多核并发策略：
- 多路输入：系统同时接入≥2路摄像头或传感器数据流，且每路都需要独立的AI推理。
- 多模型混合：业务逻辑需要串联或并联多个模型（如检测+跟踪+识别），且单个模型无法在单核上满足实时性要求。
- 资源竞争明显：实测单核NPU利用率超过80%，但CPU仍有空闲，且推理延迟出现周期性抖动。
1.2 课程学习目标与知识框架
核心原理：四层能力模型
完成本课程学习后，学员应具备以下四层能力：
| 能力层级 | 具体描述 | 对应章节 |
|---|---|---|
| 理解层 | 掌握RKNN多核架构、核心间通信机制、内存共享原理 | 第2-3章 |
| 配置层 | 熟练使用RKNN-Toolkit2的core_mask参数、优先级设置、异步接口 | 第4-6章 |
| 调优层 | 能通过性能分析工具定位瓶颈，制定核心分配策略 | 第7-9章 |
| 实战层 | 独立完成多路视频分析、多模型并发等典型场景的工程落地 | 第10-12章 |
判断方法：学习路径自检
在进入后续章节前，建议读者先完成以下自检，确认基础储备：
- 能独立完成RKNN模型转换（.pt/.onnx → .rknn），并跑通单模型推理demo。
- 理解NPU与CPU/GPU的本质区别（SIMD架构、固定流水线、内存带宽约束）。
- 熟悉Linux多线程编程基础（pthread或std::thread），了解互斥锁、条件变量等同步原语。
1.3 课程整体框架与适用场景
核心原理：五阶段递进式课程设计
本课程共30章，按“认知→配置→优化→实战→排障”五个阶段组织，每阶段包含6章左右内容。这种设计遵循工程能力养成的客观规律：先建立正确的概念模型，再通过动手配置形成肌肉记忆，最后在复杂场景中锤炼决策能力。
| 阶段 | 章节范围 | 核心主题 | 关键产出 |
|---|---|---|---|
| 认知基础 | 第1-5章 | 多核架构、调度原理、内存模型 | 能画出RK3588 NPU数据流图 |
| 配置实践 | 第6-11章 | core_mask配置、异步接口、优先级 | 能写出双核并发推理demo |
| 性能调优 | 第12-18章 | 负载均衡、延迟优化、功耗控制 | 能针对特定模型给出最优核心分配方案 |
| 场景实战 | 第19-25章 | 多路摄像头、多模型流水线、大模型部署 | 完成一个端到端多核AI应用 |
| 排障进阶 | 第26-30章 | 死锁分析、内存泄漏、性能回退 | 建立系统化排障checklist |
判断方法：选择适合你的学习路径
根据工作角色不同，读者可以灵活调整学习重点：
- 算法工程师：重点学习第6-9章（core_mask与异步调用），了解如何通过配置提升模型并发效率，无需深入底层驱动。
- 嵌入式开发工程师：建议完整学习全部章节，尤其关注第12-18章（性能调优）和第26-30章（排障），这些内容直接关系到产品稳定性。
- 系统架构师：可跳过部分API细节，但需精读第2-3章（架构原理）和第19-25章（场景实战），以做出正确的技术选型和方案设计。
案例拆解：智能安防盒子中的多核调度需求
以一个典型的8路摄像头智能安防盒子为例，说明多核调度的实际价值。该设备基于RK3588平台，需要同时处理8路1080P视频流，每路执行“人形检测+人脸抓拍+属性识别”三个模型。
初始方案（单核串行）：所有模型在Core 0上串行执行，实测单路处理延迟约120ms，8路总吞吐量仅能维持15 FPS，远低于25 FPS的客户要求。且Core 0利用率达95%，而Core 1和Core 2完全空闲。
优化方案（三核并行）：将8路视频流分为三组，Core 0处理3路（人形检测），Core 1处理3路（人脸抓拍），Core 2处理2路（属性识别）。通过RKNN的core_mask参数将不同模型绑定到不同核心，并采用异步提交模式。优化后单路延迟降至45ms，总吞吐量达到28 FPS，满足客户需求。
关键数据对比：
| 指标 | 单核串行 | 三核并行 | 提升幅度 |
|---|---|---|---|
| 总吞吐量 | 15 FPS | 28 FPS | +86.7% |
| 平均延迟 | 120ms | 45ms | -62.5% |
| NPU利用率 | 32% | 87% | +55pp |
| 内存占用 | 680MB | 720MB | +5.9%（可接受） |
复盘经验：该案例的成功关键在于三点——一是按模型类型而非视频流编号进行核心分配，避免了同一核心上不同类型模型的切换开销；二是为每个核心设置了独立的输入队列，减少了锁竞争；三是通过性能分析工具发现Core 2的利用率仅61%，因此将一路视频流的属性识别任务迁移到Core 2，实现了更均衡的负载。
1.4 常见误区与学习建议
误区一：核心数越多性能一定越好
多核并行会引入额外的同步开销和内存带宽竞争。实测表明，当模型较小（如MobileNet）且单核利用率不足50%时，强行分配到多核反而可能因核心间通信开销导致性能下降。正确的做法是先单核跑基准，再逐步增加核心数，找到拐点。
误区二：core_mask设置后立即生效
core_mask参数在rknn_init时生效，但运行时修改需要重新初始化上下文。部分开发者误以为可以动态调整核心分配，导致线上故障。本课程第6章将专门讲解运行时重配置的安全方法。
误区三：只关注NPU利用率而忽略内存带宽
多核并发时，内存带宽往往成为新的瓶颈。RK3588的NPU与CPU共享DDR带宽，当多核同时访问内存时，可能因带宽饱和导致所有核心性能下降。课程第14章将介绍内存池优化和带宽监控方法。