所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

ONNX Runtime跨平台部署实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
ONNX与ONNX Runtime基础
ONNX模型格式 · 计算图 · 算子集
ONNXRuntime
03
环境搭建与工具链
在不同平台（Windows · Linux · macOS
环境搭建工具链
04
模型转换与优化
使用PyTorch/TensorFl… · 处理动态轴 · 自定义算子
模型转换优化
05
ONNX Runtime API详解
Python · C++ · C#
ONNXRuntime
06
跨平台推理核心流程
从加载模型 · 设置运行选项 · 执行推理到解析输出的完整代码实现
跨平台推理核心流…从加载模型
07
执行提供程序（EP）机制
理解CPU · CUDA · TensorRT
EP执行提供程序
08
模型量化与压缩
静态量化 · 动态量化 · 混合量化在ONNX Runtime中…
模型量化压缩
09
性能调优与基准测试
使用ONNX Runtime的pro… · 性能指标分析 · 内存优化
性能调优基准测试
10
Windows平台部署实战
使用C++或C#在Windows桌面… · 并处理DLL依赖与打包
Windows平台部署实战
11
Linux平台部署实战
在Ubuntu/CentOS上编译O… · 使用C++或Python部署到服务器… · 并配置systemd服务
Linux平台部署实战
12
macOS平台部署实战
在macOS上使用Swift或Obj… · 处理Metal加速与App Sand…
macOS平台部署实战
13
Android平台部署实战
使用Android NDK和JNI调… · 构建Android应用 · 处理模型打包与内存管理
Android平台部署实战
14
iOS平台部署实战
使用Swift/Objective-… · 配置CoreML EP · 处理App Store审核与模型加密
iOS平台部署实战
15
嵌入式与边缘设备部署
在树莓派 · Jetson · RK3399等设备上交叉编译ONNX…
嵌入式边缘设备部署
16
WebAssembly与浏览器部署
使用ONNX Runtime Web… · 处理WebGL/WebGPU加速及前…
WebAssembly浏览器部署
17
多语言绑定与互操作
在Python · C++ · C#
多语言绑定互操作
18
模型版本管理与更新
设计模型版本化策略 · 实现热更新 · 回滚
模型版本管理更新
19
安全与隐私保护
模型加密 · 混淆 · 防止逆向
安全隐私保护
20
常见问题排查
解决模型转换失败 · 推理结果不一致 · 性能瓶颈
常见问题排查解决模型转换失败
21
实战项目一
图像分类模型（ResNet）跨平台部… · 覆盖从PyTorch导出到Andro…
实战项目一ResNet
22
实战项目二
目标检测模型（YOLOv5）在Win… · 并实现实时视频流推理
实战项目二YOLOv5
23
实战项目三
自然语言处理模型（BERT）在移动端… · 处理动态输入与分词
实战项目三BERT
24
实战项目四
语音识别模型（Whisper）在嵌入… · 优化推理速度与内存占用
实战项目四Whisper
25
实战项目五
多模型流水线部署 · 将多个ONNX模型串联成推理服务 · 并处理异步与批处理
实战项目五多模型流水线部署
26
与云服务集成
将ONNX Runtime部署到Do… · Kubernetes集群 · 实现弹性伸缩与负载均衡
云服务集成ONNX
27
自动化测试与CI/CD
为跨平台部署编写单元测试 · 集成测试 · 并配置GitHub Actions或…
CI/CD自动化测试
28
性能对比与硬件选型
在不同硬件（CPU · GPU · NPU
性能对比硬件选型
29
高级主题
自定义算子开发 · 图编辑 · 自定义执行提供程序
高级主题自定义算子开发
30
综合实战与课程总结
从零构建一个跨平台AI应用 · 整合所学知识 · 总结部署最佳实践与未来趋势
综合实战课程总结