VIP20

本课程属于：028-RK3588RK3568RK3566与瑞芯微NPU边缘AI部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

6. RK3588 NPU性能测试：延迟、吞吐与多核调度分析

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

明确学习目标 · 课程适用人群 · 整体知识框架与实战项目预览

课程导入明确学习目标

RK3588 NPU硬件架构

了解NPU算力规格 · 核心数量 · 内存带宽

NPU软件栈与工具链

熟悉RKNN-Toolkit · RKNN Runtime · 驱动及模型转换流程

环境搭建与开发板准备

安装交叉编译工具 · NPU驱动 · RKNN工具包

环境搭建开发板准备

性能测试基础概念

理解延迟（Latency） · 吞吐量（Throughput） · FPS

性能测试基础概念Latency

模型转换与量化影响

掌握RKNN模型转换步骤 · 了解INT8/FP16量化对性能与精…

模型转换量化影响

单核性能测试方法

编写基础测试脚本 · 测量单个NPU核心上模型的推理延迟与…

单核性能测试方法编写基础测试脚本

多核调度原理

解析RK3588 NPU三核调度机制 · 任务分配策略与负载均衡方式

多核调度原理RK3588

多核性能测试实战

使用RKNN API实现多核并行推理 · 测量多核加速比与吞吐提升

多核性能测试实战RKNN

延迟测试工具与技巧

使用time · perf · RKNN profiling接口精确…

延迟测试工具time

吞吐量测试方法

设计批量推理与流水线测试 · 计算稳定状态下的最大吞吐量

吞吐量测试方法设计批量推理

性能分析工具使用

掌握RKNN Toolkit的pro… · NPU性能计数器及日志分析

性能分析工具使用RKNN

多核调度策略配置

学习通过API设置核心绑定 · 优先级 · 同步模式等参数

多核调度策略配置API

典型模型性能基准

对ResNet50 · YOLOv5 · MobileNet等常见模型进行单核…

典型模型性能基准ResNet50

延迟与吞吐的权衡

分析批大小 · 多核并行 · 模型结构对延迟和吞吐的影响及优化方向

延迟吞吐的权衡

内存与数据搬运优化

减少CPU-NPU数据拷贝 · 使用零拷贝 · 异步推理提升整体性能

内存数据搬运优化

多线程与多进程调度

结合CPU多线程与NPU多核 · 设计高效推理流水线

多线程多进程调度

实时性测试与抖动分析

测量推理延迟的稳定性 · 分析抖动来源并给出降低抖动的方法

实时性测试抖动分析

性能瓶颈定位

通过profiling数据定位算子瓶… · 内存瓶颈 · 调度瓶颈

性能瓶颈定位profiling

算子优化与融合

了解RKNN支持的算子融合 · 自定义算子及对性能的影响

算子优化融合

多模型并发调度

测试多个模型同时运行时的资源竞争与调…

多模型并发调度测试多个模型同时…

与CPU/GPU协同测试

对比NPU与CPU/GPU在相同模型… · 分析协同工作模式

CPU/GPU协同测试

功耗与热管理对性能的影响

测量不同负载下的功耗 · 温度 · 分析降频对性能的影响

功耗热管理对性能的影…

自动化性能测试框架

编写脚本批量测试不同模型 · 不同配置 · 生成性能报告

自动化性能测试框…编写脚本批量测试…

常见问题与解决方案

解决模型转换失败 · 推理报错 · 性能异常等典型问题

常见问题解决方案

性能调优实战案例

针对一个实际模型（如YOLOv5）进…

性能调优实战案例YOLOv5

多核调度高级主题

探索动态调度 · 任务优先级 · 异构计算等高级特性

多核调度高级主题探索动态调度

性能测试结果分析与可视化

使用图表展示延迟 · 吞吐 · 加速比

性能测试结果分析可视化

设计并实现一个多模型多核推理系统 · 完成性能测试与优化报告

综合项目设计并实现一个多…

课程总结与进阶方向

回顾核心知识点 · 推荐学习资源 · 展望NPU性能优化前沿技术

课程总结进阶方向