VIP10

本课程属于：053-边缘AI图像识别 嵌入式基础与RISC-V · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX模型转换与嵌入式Linux端侧部署实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

ONNX基础认知

什么是ONNX · ONNX的生态定位 · 为什么选择ONNX做模型转换

ONNX基础认知

安装ONNX · 安装ONNX Runtime · 安装PyTorch/TensorFl…

环境搭建ONNX

PyTorch模型导出ONNX

torch.onnx.export详… · 动态轴与静态轴 · opset版本选择

TensorFlow模型导出ONNX

使用tf2onnx工具 · Keras模型转换 · SavedModel转换

ONNX模型结构解析

使用Netron可视化 · ONNX的节点与图结构 · 理解输入输出张量

ONNX模型结构解析

ONNX算子兼容性

常见算子映射表 · 不支持的算子如何处理 · 自定义算子注册

ONNX算子兼容性

模型优化与精简

ONNX Simplifier工具 · 常量折叠 · 节点融合

模型优化精简

模型量化基础

FP32转FP16 · 动态量化 · 静态量化

模型量化基础FP32

ONNX Runtime本地推理

C++/Python API · Session配置 · 内存优化

ONNX Runtime性能调优

执行提供者(Execution Pr… · 图优化级别 · 线程数设置

嵌入式Linux环境准备

交叉编译工具链 · 系统镜像烧录 · SSH/NFS调试环境

ARM架构CPU推理

ARM NEON指令集优化 · 单线程与多线程性能对比

ARM GPU推理( Mali )

OpenCL后端配置 · Mali GPU驱动安装 · 性能实测

NPU推理(算能/瑞芯微)

TPU/NPU驱动安装 · ONNX转RKNN/BMNNSDK · 异构计算

ONNX Runtime交叉编译

源码编译ARM64版本 · 依赖库静态链接 · 部署包制作

模型部署文件结构

模型文件 · 配置文件 · 动态库

模型部署文件结构模型文件

C++推理引擎封装

RAII管理Session · 异常安全 · 日志系统集成

C++推理引擎封装

Python推理服务封装

Flask/FastAPI REST… · 请求队列 · 超时处理

Python推理服务封装

多模型流水线

模型串联 · 并行推理 · 数据流管理

多模型流水线模型串联

性能基准测试

Latency/Throughput… · CPU/GPU/NPU对比 · Profiling工具使用

性能基准测试Latency/Thro…

内存优化实战

Tensor内存复用 · DMA零拷贝 · Cache友好访问模式

内存优化实战Tensor

模型加密与保护

ONNX模型加密方案 · 运行时解密 · License校验

模型加密保护

OTA升级方案

模型热更新 · 版本回滚 · 差分升级

OTA升级方案

日志与监控

推理日志结构化 · Prometheus指标暴露 · 看门狗机制

常见错误排查

Shape不匹配 · 精度异常 · 内存泄漏

常见错误排查Shape

图像分类模型(ResNet50)端侧…

实战案例1ResNet50

目标检测模型(YOLOv5/v8)端…

实战案例2YOLOv5/v8

语义分割模型(DeepLabV3+)…

实战案例3DeepLabV3+

语音唤醒模型(KWS)端侧部署与实时…

实战案例4KWS

课程总结与进阶方向

TFLite对比 · TensorRT对比 · 未来趋势(WebNN/WASM)

课程总结进阶方向