VIP20
本课程属于：051-RK3568RK3588工业网关项目 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

4. RK工业网关视频链路：RTSP接入、硬解码、RGA预处理和NPU推理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用场景 · 整体技术架构与学习路径
课程导入学习目标
02
RK工业网关硬件平台
RK3588/RK3568等芯片特性 · 内存带宽 · 编解码与NPU算力概览
RK工业网关硬件平台
03
视频链路总览
从RTSP流到NPU推理的完整数据流 · 各环节作用与性能瓶颈分析
视频链路总览RTSP
04
RTSP协议基础
RTSP/RTP/RTCP协议原理 · SDP描述 · 常用传输方式（UDP/TCP）
RTSP协议基础
05
RTSP客户端开发
使用FFmpeg或GStreamer… · 处理网络异常与重连机制
RTSP客户端开发
06
硬解码基础
RK平台MPP（Media Proc… · 硬件解码器支持格式（H.264/H.…
硬解码基础RK
07
硬解码实践
使用MPP API或FFmpeg硬件… · 获取YUV帧数据
硬解码实践MPP
08
解码性能优化
多路解码 · 解码缓冲管理 · 丢帧策略
解码性能优化多路解码
09
RGA硬件加速器
RGA（Raster Graphic… · 支持的操作（缩放 · 旋转
RGA硬件加速器
10
RGA预处理流程
将解码后的YUV帧转换为NPU所需的… · 并调整尺寸与布局
RGA预处理流程
11
RGA编程接口
使用librga库进行图像处理 · 包括初始化 · 配置
RGA编程接口
12
RGA性能调优
批量处理 · 双缓冲 · 零拷贝技术
RGA性能调优
13
NPU推理基础
RKNN-Toolkit2工具链 · 模型转换（PyTorch/Tenso…
NPU推理基础
14
RKNN Runtime API
初始化 · 加载模型 · 设置输入输出
RKNNRuntime
15
NPU输入数据要求
量化格式（INT8/FP16） · 数据布局（NHWC/NCHW） · 归一化参数
NPU输入数据要求
16
视频帧与NPU对接
将RGA处理后的图像数据直接传递给R… · 避免内存拷贝
NPU视频帧
17
完整链路实战
从RTSP拉流 · 硬解码 · RGA预处理到NPU推理的端到端代码…
完整链路实战RTSP
18
多路视频并发
多路RTSP流同时接入 · 资源分配 · 线程模型与性能测试
多路视频并发RTSP
19
延迟优化
降低端到端延迟的方法（减少缓冲 · 硬解码直通 · 异步推理）
延迟优化降低端到端延迟的…
20
内存管理
零拷贝技术 · DMA-BUF · ION内存池在链路中的应用
内存管理零拷贝技术
21
常见问题排查
RTSP连接失败 · 解码花屏 · RGA格式错误
常见问题排查RTSP
22
性能监控与调优
使用perf · top · rknn_benchmark等工具分…
性能监控调优
23
案例实战
工业缺陷检测场景 · 实现RTSP视频流实时推理并输出检测…
案例实战工业缺陷检测场景
24
案例实战
智能安防场景 · 多路视频流人员检测与跟踪
案例实战智能安防场景
25
系统集成
将视频链路封装为独立模块 · 提供API接口 · 集成到工业网关主程序
系统集成将视频链路封装为…
26
边缘计算与云边协同
本地推理结果上传云端 · 模型更新与远程管理
边缘计算云边协同
27
安全与稳定性
网络加密（RTSP over TLS… · 看门狗 · 异常恢复机制
安全稳定性
28
进阶优化
使用RKNN的零拷贝接口 · 多核NPU调度 · 模型分块推理
进阶优化RKNN
29
综合项目
构建一个完整的RK工业网关视频分析系… · 涵盖所有环节
综合项目RK
30
课程总结
知识体系回顾 · 常见误区 · 学习资源与后续进阶方向
课程总结知识体系回顾