VIP20

本课程属于：026-ONNX模型转换与边缘推理兼容性 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

16. ONNX边缘部署清单：模型格式、输入规范和验证脚本

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

了解ONNX边缘部署的整体流程 · 学习目标 · 适用场景以及课程结构

课程导入ONNX

掌握ONNX的起源 · 设计目标 · 与PyTorch/TensorFlo…

学习如何将PyTorch模型导出为O… · 包括torch.onnx.expor…

模型导出PyTorch

模型导出实战

动手将训练好的ResNet或YOLO… · 并验证导出文件的正确性

模型导出实战ResNet

ONNX模型结构

解析ONNX模型文件的基本组成（gr… · node · initializer

ONNX模型结构

输入规范定义

理解ONNX模型的输入名称 · 形状 · 数据类型（float32/int8）…

输入规范定义ONNX

预处理对齐

掌握边缘部署中图像预处理（resiz… · normalize · 通道顺序）与模型训练时的一致性要求

预处理对齐resiz

后处理对齐

学习模型输出的后处理步骤（softm… · NMS · 阈值过滤）在边缘端如何与ONNX输出…

后处理对齐softm

ONNX Runtime基础

介绍ONNX Runtime的安装 · CPU/GPU执行提供程序 · 以及基本的推理API使用

ONNX Runtime推理实战

编写Python脚本使用ONNX R… · 对单张图片进行推理并输出结果

输入输出张量检查

编写脚本检查ONNX模型的输入输出张… · 形状 · 类型

输入输出张量检查ONNX

模型验证脚本设计

设计一套验证脚本 · 对比原始框架（PyTorch）与ON… · 计算误差指标（如余弦相似度

模型验证脚本设计设计一套验证脚本

数值一致性调试

当ONNX输出与原始模型不一致时 · 学习排查方法（如检查opset版本 · 算子支持

数值一致性调试ONNX

动态形状处理

掌握ONNX动态轴（dynamic… · 处理可变批量大小或可变输入尺寸的场景

动态形状处理ONNX

量化与精度优化

介绍ONNX静态量化 · 动态量化的基本概念 · 以及量化对边缘部署性能和精度的影响

量化精度优化

INT8量化实战

使用ONNX Runtime的量化工… · 并验证量化后模型的精度和推理速度

INT8量化实战

算子兼容性检查

学习使用onnx.checker和o… · 识别不支持的算子并寻找替代方案

算子兼容性检查onnx.checker

模型简化与优化

使用onnx-simplifier等… · 去除冗余节点 · 提升推理效率

模型简化优化

边缘设备部署准备

了解边缘设备（如Jetson · Raspberry Pi · 手机端）的硬件特性

边缘设备部署准备Jetson

边缘端推理脚本编写

编写适用于边缘设备的C++或Pyth… · 处理输入加载 · 推理循环和结果输出

边缘端推理脚本编…C++

性能基准测试

设计性能测试脚本 · 测量ONNX模型在边缘设备上的推理延… · 吞吐量和内存占用

性能基准测试设计性能测试脚本

多平台部署对比

对比ONNX Runtime在CPU · GPU · NPU等不同硬件上的表现

多平台部署对比ONNX

常见错误与解决方案

总结ONNX导出和部署中的常见错误（… · 算子不支持 · 精度下降）及解决方法

常见错误解决方案

模型版本管理

学习ONNX模型的版本管理策略 · 包括opset版本 · 模型文件命名和元数据记录

模型版本管理ONNX

自动化验证流水线

构建一个自动化脚本 · 集成模型导出 · 格式检查

自动化验证流水线构建一个自动化脚…

图像分类模型部署 · 完成从PyTorch导出ONNX到边…

案例实战图像分类模型部署

目标检测模型部署：以YOLOv5为例 · 处理动态形状 · NMS后处理以及ONNX部署的完整流…

案例实战YOLOv5

语义分割模型部署 · 解决多输出 · 上采样层和输入尺寸固定的问题

案例实战语义分割模型部署

构建一个边缘部署工具包 · 输入模型路径和配置 · 自动生成验证报告和部署脚本

综合项目构建一个边缘部署…

课程总结与进阶

回顾ONNX边缘部署的关键要点 · 介绍ONNX生态的最新发展（如ONN… · ONNX Runtime Web）以…

课程总结进阶