VIP20

本课程属于：033-Edge AI RKNN模型转换 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

RKNN模型转换后推理速度慢的优化与调优课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程适用人群 · 整体优化思路与调优流程概览

课程导入学习目标

RKNN基础与转换流程

RKNN工具链架构 · 模型转换步骤 · 转换后推理性能瓶颈的常见原因

RKNN转换流程

性能评估与基准测试

如何准确测量推理延迟 · 吞吐量 · 内存占用

性能评估基准测试

模型量化原理与影响

INT8/FP16量化原理 · 量化误差来源 · 量化对推理速度的影响及权衡

模型量化原理影响

量化校准与优化

校准数据集的选择 · 量化参数调整 · 混合量化策略

量化校准优化

算子融合与图优化

RKNN支持的算子融合类型 · 如何通过配置开启图优化 · 融合后性能提升案例分析

算子融合图优化

NPU内存布局与数据格式

NHWC/NCHW/NC1HWC0等… · 如何调整输入输出格式减少拷贝

NPU内存布局

输入输出处理优化

预处理/后处理在CPU与NPU间的分… · 使用RKNN的零拷贝接口 · 减少数据搬运

输入输出处理优化CPU

多线程与异步推理

多核CPU与NPU并行 · 异步推理模式 · 流水线设计提升整体吞吐

多线程异步推理

模型结构优化

针对RKNN的模型剪枝 · 轻量化网络设计 · 替换高耗时算子（如将大卷积分解）

模型结构优化RKNN

RKNN配置参数详解

target_platform · optimization_level · quantized_dtype

RKNN配置参数详解

使用RKNN-Toolkit2的profiling功能

逐层耗时分析 · 识别瓶颈层 · 针对性优化

RKNN-Toolkit…profiling

常见瓶颈案例

卷积层慢 · 全连接层慢 · 激活函数慢

常见瓶颈案例卷积层慢

模型转换后精度与速度平衡

如何通过量化感知训练 · 部分量化 · 敏感层保护来兼顾精度与速度

模型转换后精度速度平衡

NPU与CPU/GPU协同

异构计算策略 · 任务划分 · 负载均衡

内存优化与复用

内存池 · 张量复用 · 减少动态分配

内存优化复用

RKNN驱动与运行时优化

使用最新runtime · 设置CPU/NPU频率 · 电源管理对推理速度的影响

多模型与动态形状处理

动态输入尺寸的优化 · 多模型串并行调度 · 减少模型加载开销

多模型动态形状处理

端到端性能优化实战

从PyTorch/TensorFlo… · 包括预处理 · 推理

端到端性能优化实…PyTorch/Tens…

针对不同NPU平台的调优

RK3566/RK3588/RK33…

NPU针对不同

使用RKNN的C API进行底层优化

内存管理 · 多线程 · 零拷贝

模型转换失败或推理崩溃的排查

常见错误日志分析 · 兼容性问题 · 回退策略

模型转换失败或推…常见错误日志分析

量化精度下降的调试方法

定位量化敏感层 · 使用量化感知训练 · 混合精度量化

量化精度下降的调…定位量化敏感层

推理速度慢的常见误区

误用CPU算子 · 未开启NPU · 数据格式不匹配

推理速度慢的常见…CPU

性能优化工具链整合

使用rknn_perf · rknn_benchmark · TensorBoard等工具进行系统…

性能优化工具链整…rknn

YOLOv5目标检测模型在RKNN上… · 从原始模型到部署的完整调优过程

案例实战YOLOv5

Transformer/Attent… · 处理动态序列和复杂算子

案例实战Transformer/…

语义分割模型（如UNet）的优化 · 解决高分辨率输入下的内存和速度问题

案例实战UNet

综合调优策略与最佳实践

总结优化优先级 · 常见调优流程 · 性能验收标准

综合调优策略最佳实践

课程总结与进阶方向

回顾核心知识点 · 推荐学习资源 · 探讨未来RKNN优化趋势与挑战

课程总结进阶方向