VIP20

本课程属于：028-RK3588RK3568RK3566与瑞芯微NPU边缘AI部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

14. RKNN C++推理集成：Runtime API和工程封装

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与前置知识要求

课程导入学习目标

RKNN Runtime概览

RKNN Toolkit与RKNN… · C++ API在嵌入式部署中的角色

交叉编译工具链 · RKNN Runtime库的获取与安… · 开发板或模拟器的准备

环境搭建交叉编译工具链

RKNN模型文件解析

.rknn文件结构 · 模型版本 · 输入输出张量信息

RKNN模型文件解析

核心API介绍

rknn_init · rknn_query · rknn_inputs_set

初始化与资源管理

rknn_init的参数详解 · 初始化失败处理 · 资源释放与错误码

初始化资源管理

查询模型信息

使用rknn_query获取输入输出… · 维度 · 类型

查询模型信息rknn

输入数据准备

图像预处理（resize · crop · 归一化）

输入数据准备resize

输入设置与内存管理

rknn_input结构体 · 输入缓冲区分配 · 零拷贝与共享内存机制

输入设置内存管理

rknn_run的同步与异步模式 · 超时设置 · 多线程推理注意事项

推理执行rknn

输出获取与后处理

rknn_output结构体 · 输出数据拷贝 · 反量化

输出获取后处理

完整推理流程实战

从加载模型到输出结果的C++代码实现 · 包含错误检查

完整推理流程实战C++

性能优化基础

推理耗时分析 · 内存复用 · 批量推理

性能优化基础推理耗时分析

零拷贝与共享内存

使用DMA或ION内存 · 避免数据拷贝 · 提升吞吐量

零拷贝共享内存

多模型管理

同时加载多个模型 · 模型切换 · 资源隔离与共享

多模型管理同时加载多个模型

工程化封装设计

面向对象的接口封装 · RAII管理资源 · 模块化设计

工程化封装设计面向对象的接口封…

设计一个RKNNInference类 · 封装初始化 · 推理

封装示例RKNNInferenc…

线程安全与并发

多线程推理 · 线程池集成 · 互斥锁与原子操作

线程安全并发

错误处理与日志

统一错误码 · 异常捕获 · 日志系统集成（如spdlog）

错误处理日志

模型更新与热加载

运行时替换模型 · 动态加载新模型 · 安全切换

模型更新热加载

与OpenCV集成

使用cv::Mat作为输入输出 · 图像格式转换 · 避免额外拷贝

与深度学习框架对接

从PyTorch/TensorFlo… · C++端加载

深度学习框架对接PyTorch/Tens…

常见问题排查

初始化失败 · 推理结果错误 · 内存泄漏

常见问题排查初始化失败

性能基准测试

编写基准测试程序 · 统计FPS · 延迟

性能基准测试编写基准测试程序

基于RK3588/RK3566等平台… · 集成到实际应用

部署案例RK3588/RK356…

自定义算子与扩展 · 何时需要以及基本流程

进阶自定义算子

安全与稳定性

看门狗 · 异常恢复 · 长时间运行稳定性测试

安全稳定性

综合实战项目

构建一个完整的C++推理服务 · 支持图像分类/目标检测 · 包含前后处理

综合实战项目C++

核心知识点回顾 · 常见陷阱 · 最佳实践总结

课程总结核心知识点回顾

RKNN其他语言API对比 · 社区资源 · 官方文档指引

拓展学习RKNN