VIP20

本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型转换到ONNX Runtime端侧推理：完整项目案例课

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程项目全景与最终效果演示

课程导入学习目标

ONNX与ONNX Runtime基础

ONNX格式定义 · 设计动机 · 与PyTorch/TensorFlo…

环境搭建与工具链准备

安装Python · PyTorch · ONNX

环境搭建工具链准备

PyTorch模型导出为ONNX

torch.onnx.export参… · 动态轴设置 · opset版本选择

TensorFlow/Keras模型转换ONNX

使用tf2onnx工具 · 处理自定义层 · 冻结图与SavedModel转换流程

TensorFlow/K…ONNX

PaddlePaddle模型转换ONNX

paddle2onnx使用 · 飞桨模型导出注意事项 · 与PyTorch转换的差异对比

PaddlePaddleONNX

ONNX模型结构解析

使用Netron可视化 · 理解节点 · 张量

ONNX模型结构解析

ONNX模型优化与精简

使用onnx-simplifier · 常量折叠 · 冗余节点消除

ONNX模型优化

ONNX Runtime CPU推理实战

Python API使用 · SessionOptions配置 · 输入输出绑定

ONNX Runtime GPU推理实战

CUDA/ROCm后端安装 · TensorRT集成 · GPU内存管理

ONNX Runtime量化与压缩

动态量化 · 静态量化 · 量化感知训练（QAT）

ONNX Runtime图优化与算子融合

Level0/1/2/3优化级别 · 算子融合策略 · 自定义图优化插件开发

端侧推理概述

移动端/嵌入式设备特点 · ONNX Runtime Mobil… · NNAPI

端侧推理概述移动端

Android端ONNX Runtime集成

Android Studio项目配置 · JNI调用 · 模型打包与加载

iOS端ONNX Runtime集成

Xcode项目配置 · Swift/Objective-C调… · CoreML执行提供程序

树莓派与Linux嵌入式部署

交叉编译ONNX Runtime · 系统依赖 · 摄像头实时推理案例

Windows/Linux桌面端部署

打包为可执行程序 · C++ API使用 · 多线程推理

Windows/Linu…桌面端部署

模型转换实战案例一

图像分类模型（ResNet/Mobi…

模型转换实战案例…ResNet/Mobi

模型转换实战案例二

目标检测模型（YOLOv5/YOLO… · 后处理算子实现 · 端侧实时检测

模型转换实战案例…YOLOv5/YOLO

模型转换实战案例三

语义分割模型（UNet/DeepLa… · 内存优化 · 端侧分割应用

模型转换实战案例…UNet/DeepLa

模型转换实战案例四

自然语言处理模型（BERT）转换ON… · tokenizer集成 · 端侧文本分类/问答

模型转换实战案例…BERT

模型转换实战案例五

语音识别模型（Whisper/Con… · 流式推理 · 端侧语音命令

模型转换实战案例…Whisper/Con

模型转换实战案例六

生成模型（GAN/扩散模型）ONNX… · 采样优化 · 端侧图像生成

模型转换实战案例…GAN

端侧推理性能调优

Profiling工具使用 · 内存带宽优化 · 多线程调度

端侧推理性能调优Profiling

端侧推理精度验证与调试

输出对比 · 误差分析 · 精度损失定位

端侧推理精度验证调试

常见问题与解决方案

算子不支持 · 动态形状报错 · 转换失败

常见问题解决方案

ONNX Runtime扩展与自定义算子

编写自定义Op · 注册到Runtime · 端侧编译集成

模型安全与加密

模型加密 · 混淆 · 防篡改

模型安全加密

综合项目实战

从零构建一个端侧AI应用（如智能相册… · 涵盖模型训练 · 转换

综合项目实战AI

课程总结与进阶方向

知识体系回顾 · 常见误区 · ONNX Runtime新特性

课程总结进阶方向