VIP20
本课程属于：028-RK3588RK3568RK3566与瑞芯微NPU边缘AI部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

11. RKNN视频流部署：摄像头采集、RGA预处理与NPU推理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解RKNN视频流部署的整体流程 · 学习目标 · 适用场景（如智能安防
课程导入RKNN
02
环境搭建
配置RKNN开发环境 · 包括安装RKNN-Toolkit2 · 交叉编译工具链
环境搭建RKNN
03
摄像头采集基础
掌握Linux下V4L2摄像头采集原… · 使用OpenCV或GStreamer… · 并处理帧率
摄像头采集基础Linux
04
视频流格式转换
理解YUV · RGB · NV12等常见像素格式
视频流格式转换YUV
05
RGA硬件加速简介
了解Rockchip RGA（2D图… · 优势 · 支持的操作（缩放
RGA硬件加速简介
06
RGA编程接口
学习RGA库的API调用方法 · 包括初始化 · 配置源/目标图像信息
RGA编程接口
07
RGA图像缩放与裁剪
实战使用RGA对摄像头帧进行缩放和裁… · 以满足NPU输入尺寸要求 · 并对比CPU缩放性能
RGA图像缩放
08
RGA格式转换实战
使用RGA将摄像头采集的NV12/Y… · 并验证转换后的图像正确性
RGA格式转换实战
09
RGA旋转与镜像
实现图像旋转90/180/270度及… · 用于摄像头安装角度校正
RGA旋转
10
NPU推理基础
回顾RKNN模型转换 · 加载 · 推理的基本流程
NPU推理基础
11
RKNN输入输出内存管理
掌握RKNN推理时输入输出缓冲区的分… · 对齐要求 · 以及如何与RGA输出内存高效对接
RKNN输入输出内存管理
12
零拷贝技术
学习使用dma_buf或ION内存实… · 减少数据搬运开销 · 提升整体性能
零拷贝技术dma
13
多线程流水线设计
设计采集 · 预处理 · 推理
多线程流水线设计设计采集
14
帧率控制与同步
实现视频流的帧率控制（如固定FPS） · 处理采集与推理速度不匹配时的丢帧或等…
帧率控制同步
15
单路摄像头推理实战
完成从摄像头采集到RGA预处理再到N… · 输出检测/分类结果
单路摄像头推理实…RGA
16
多路摄像头并发处理
扩展至多路摄像头输入 · 使用多线程或多进程管理多个视频流 · 并合理分配RGA和NPU资源
多路摄像头并发处…扩展至多路摄像头…
17
性能优化
分析系统瓶颈（CPU · 内存 · 带宽）
性能优化CPU
18
延迟优化
降低端到端延迟 · 包括减少缓冲队列深度 · 使用低延迟模式
延迟优化降低端到端延迟
19
内存优化
管理视频帧和推理缓冲区的内存池 · 避免频繁分配释放 · 减少内存碎片和拷贝
内存优化管理视频帧
20
常见问题排查
解决摄像头采集失败 · RGA转换错误 · NPU推理异常
常见问题排查解决摄像头采集失…
21
日志与调试技巧
利用RKNN日志 · RGA调试接口 · 性能计数器（perf）等方法定位问题
日志调试技巧
22
模型适配与输入尺寸
针对不同模型调整RGA预处理参数（如… · resize） · 确保输入数据符合模型要求
模型适配输入尺寸
23
后处理集成
将NPU推理结果（如检测框 · 分类概率）与视频帧叠加显示 · 实现实时可视化
后处理集成NPU
24
视频流录制与回放
在推理过程中同步保存原始视频或标注后… · 支持离线分析
视频流录制回放
25
网络流接入
扩展支持RTSP/RTMP等网络视频… · 使用FFmpeg或GStreamer…
网络流接入RTSP/RTMP
26
系统稳定性
处理长时间运行中的内存泄漏 · 资源耗尽 · 摄像头断线重连等问题
系统稳定性处理长时间运行
27
项目实战
综合运用所学知识 · 实现一个完整的智能视频分析系统（如人… · 物体计数）
项目实战综合运用所学知识
28
性能基准测试
设计基准测试方案 · 测量不同分辨率 · 帧率下的CPU占用
性能基准测试设计基准测试方案
29
部署与发布
将开发好的视频流推理程序交叉编译并部… · 配置开机自启和远程监控
部署发布
30
课程总结与进阶
回顾课程核心知识点 · 总结常见坑点 · 并介绍RKNN视频流部署的进阶方向（…
课程总结进阶