VIP20
本课程属于：028-RK3588RK3568RK3566与瑞芯微NPU边缘AI部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

7. RKNN多核NPU调度：模型并发和核心分配策略

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解RKNN多核NPU调度的背景 · 学习目标 · 课程整体框架及适用场景
课程导入RKNN
02
NPU基础架构
理解RKNN NPU的硬件架构 · 核心数量 · 计算单元及内存层次
NPU基础架构
03
多核调度概念
掌握多核NPU调度的基本概念 · 并发模型与核心分配的核心术语
多核调度概念NPU
04
RKNN工具链概览
熟悉RKNN-Toolkit2 · rknn_server · rknn_api等工具链组件及其在多…
RKNN工具链概览
05
单核与多核性能对比
通过基准测试对比单核与多核NPU在推… · 吞吐量上的差异
单核多核性能对比
06
多核调度模式
学习RKNN支持的多核调度模式（如同… · 异步 · 流水线）及其适用场景
多核调度模式RKNN
07
核心分配策略
掌握如何为不同模型或任务分配NPU核… · 包括静态分配与动态分配
核心分配策略NPU
08
模型并发执行
理解多个模型如何在多核NPU上并发运… · 以及并发带来的资源竞争问题
模型并发执行NPU
09
RKNN API核心接口
学习rknn_init · rknn_run · rknn_destroy等API中与…
RKNNAPI
10
多核上下文管理
掌握多核场景下RKNN上下文（con… · 配置与销毁方法
多核上下文管理RKNN
11
核心绑定与亲和性
学习如何将特定模型绑定到指定NPU核… · 以及设置核心亲和性的方法
核心绑定NPU
12
负载均衡策略
分析多核调度中的负载均衡问题 · 学习静态均衡与动态均衡的实现方式
负载均衡策略分析多核调度
13
同步与异步推理
掌握同步推理与异步推理在多核调度中的…
同步异步推理
14
多模型流水线
设计多模型流水线 · 实现不同模型在不同核心上的流水线并行…
多模型流水线设计多模型流水线
15
多线程与多进程调度
学习在Linux/Android环境…
多线程多进程调度
16
内存管理与数据共享
理解多核调度中的内存分配 · 共享内存机制及数据拷贝优化
内存管理数据共享
17
性能监控与调优
使用RKNN性能分析工具监控多核利用… · 瓶颈定位及调优方法
性能监控调优
18
案例实战
基于RK3588等平台 · 实现两个模型并发推理的完整代码示例
案例实战RK3588
19
案例实战
实现多模型动态核心分配 · 根据实时负载调整核心数量
案例实战实现多模型动态核…
20
案例实战
构建异步多核推理流水线 · 提升视频流处理吞吐量
案例实战构建异步多核推理…
21
常见问题
多核调度中出现的死锁 · 资源冲突 · 核心利用率低等问题的排查与解决
常见问题多核调度
22
常见问题
多核并发时模型精度下降或推理结果异常…
常见问题多核并发时模型精…
23
常见问题
不同RKNN版本对多核调度支持差异及…
常见问题RKNN
24
高级技巧
利用零拷贝 · 内存池 · 双缓冲等技术优化多核调度性能
高级技巧利用零拷贝
25
高级技巧
结合NPU与CPU/GPU协同调度 · 实现异构计算
高级技巧NPU
26
高级技巧
多核调度与模型量化 · 剪枝等优化手段的协同
高级技巧多核调度
27
系统集成
将多核NPU调度集成到实际应用（如智… · 自动驾驶）中的架构设计
系统集成NPU
28
性能评估方法
设计多核调度性能评估指标体系 · 包括延迟 · 吞吐
性能评估方法设计多核调度性能…
29
综合项目
完成一个多模型多核调度系统 · 实现动态负载均衡与性能优化
综合项目完成一个多模型多…
30
课程总结
回顾核心知识点 · 梳理多核调度最佳实践 · 展望未来发展趋势
课程总结回顾核心知识点