VIP20
本课程属于：033-Edge AI RKNN模型转换 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

RKNN模型转换中模型推理时延优化与调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
RKNN模型转换与推理时延优化的背景 · 学习目标 · 课程整体框架与实战环境准备
课程导入RKNN
02
RKNN基础概念
RKNN工具链 · 模型转换流程 · NPU架构特点
RKNN基础概念
03
环境搭建与工具链安装
RKNN-Toolkit2安装 · 依赖配置 · 交叉编译环境
环境搭建工具链安装
04
模型转换入门
从ONNX/PyTorch/Tens… · 量化选项 · 输出配置与常见错误排查
模型转换入门ONNX/PyTorch…
05
推理时延评估方法
时延测量工具 · 基准测试方法 · 性能分析指标（FPS
推理时延评估方法时延测量工具
06
模型结构对时延的影响
算子类型 · 网络深度 · 分支结构
模型结构对时延的…算子类型
07
量化基础与精度-时延权衡
INT8/FP16/混合量化原理 · 量化误差来源 · 量化对时延的收益与精度损失控制
量化基础精度
08
RKNN量化配置实战
量化数据集准备 · 量化校准 · 量化参数调整（per-channel…
RKNN量化配置实战
09
算子融合与图优化
RKNN图优化机制 · 常见算子融合规则 · 如何通过配置开启优化
算子融合图优化
10
内存布局与数据格式优化
NHWC/NCHW · 通道对齐 · 内存对齐
内存布局数据格式优化
11
多线程与异步推理
RKNN推理API的多线程使用 · 异步推理模式 · 流水线设计
多线程异步推理
12
模型裁剪与轻量化
通道剪枝 · 结构重参数化 · 知识蒸馏在RKNN部署前的应用
模型裁剪轻量化
13
算子替换与等价变换
将高延迟算子替换为低延迟等价算子（如… · 归一化 · 卷积分解）的实战技巧
算子替换等价变换
14
RKNN模型版本与驱动优化
不同RKNN版本 · NPU驱动 · 固件对推理时延的影响及升级策略
RKNN模型版本
15
推理时延瓶颈定位
使用profiling工具（如RKN… · 内存瓶颈 · 调度开销的方法
推理时延瓶颈定位profiling
16
端侧推理优化案例
以YOLOv5为例 · 从模型转换到端侧部署的完整时延优化流…
端侧推理优化案例YOLOv5
17
Transformer模型优化
针对ViT · BERT等Transformer结构… · 量化敏感层处理）
Transformer模型优化
18
动态形状与静态形状优化
动态输入对时延的影响 · 固定shape · 多batch优化
动态形状静态形状优化
19
缓存与预热机制
模型加载缓存 · 权重缓存 · 推理预热
缓存预热机制
20
多模型并发与资源调度
多模型共享NPU时的时延优化 · 优先级调度 · 内存复用与冲突避免
多模型并发资源调度
21
常见时延问题排查
模型转换后推理变慢 · 首次推理延迟高 · 偶发卡顿
常见时延问题排查模型转换后推理变…
22
精度与时延联合调优
在满足精度要求下最小化时延的调优方法… · 包括敏感层分析 · 混合量化
精度时延联合调优
23
RKNN自定义算子与优化
编写自定义算子 · 使用RKNN自定义OP接口 · 优化自定义算子的计算效率
RKNN自定义算子
24
端到端应用优化
从摄像头输入到模型输出全链路时延优化 · 包括预处理 · 后处理
端到端应用优化从摄像头输入到模…
25
性能对比与选型
不同NPU平台（RK3566/RK3… · 算力评估与选型建议
性能对比选型
26
自动化调优工具
使用RKNN自动调优功能 · 超参数搜索 · 批量实验设计来优化时延
自动化调优工具RKNN
27
实战项目
人脸检测模型优化：从模型选择 · 转换 · 量化
实战项目人脸检测模型优化
28
实战项目
语义分割模型优化：处理高分辨率输入 · 内存占用与时延平衡 · 多尺度推理优化
实战项目语义分割模型优化
29
综合调优策略与最佳实践
总结时延优化的系统化方法 · 常见误区 · 性能调优checklist与团队协作…
综合调优策略最佳实践
30
课程总结与进阶方向
回顾核心知识点 · 推荐学习资源 · 探讨未来RKNN优化趋势（如稀疏化
课程总结进阶方向