VIP20

本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX Runtime C接口调用与部署案例课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程结构

课程导入学习目标

ONNX与ONNX Runtime基础

ONNX模型格式 · 计算图 · 算子

C API核心概念

会话（Session） · 环境（Env） · 内存分配器

环境初始化与配置

创建OrtEnv · 设置日志级别 · 线程池选项

环境初始化配置

会话创建与模型加载

OrtSessionOptions配… · 从文件/内存加载ONNX模型 · 创建OrtSession

会话创建模型加载

输入输出张量创建

OrtCreateTensorWit… · OrtCreateTensorAsO… · 数据类型映射

输入输出张量创建OrtCreateTen…

模型推理调用

OrtRun接口 · 输入输出OrtValue数组 · 获取输出张量数据

模型推理调用OrtRun

内存管理与释放

OrtValue · OrtSession · OrtEnv等对象的释放

内存管理释放

错误处理与调试

OrtStatus检查 · 获取错误信息 · 常见错误码

错误处理调试

CPU推理实战

以MNIST或简单分类模型为例 · 完整C代码实现加载模型 · 预处理

CPU推理实战

GPU推理与CUDA支持

配置CUDA执行提供程序 · GPU内存管理 · 性能对比

动态形状与批处理

设置动态输入维度 · 批量推理 · 变长序列处理

动态形状批处理

多线程与并发推理

线程安全 · 多会话并行 · 单会话多线程

多线程并发推理

模型输入输出预处理

图像缩放 · 归一化 · 通道转换

模型输入输出预处…图像缩放

后处理与结果解析

分类概率 · 目标检测框 · 语义分割掩码

后处理结果解析

自定义算子与扩展

注册自定义算子 · 实现C算子 · 与ONNX Runtime集成

自定义算子扩展

模型优化与量化

图优化 · 动态量化 · 静态量化

模型优化量化

跨平台部署

Windows/Linux/macO… · 交叉编译 · 静态链接

跨平台部署Windows/Linu…

与C++/Python互操作

C API在C++项目中的封装 · 通过C接口调用Python训练模型 · 混合编程

C++/Python互操作

性能分析与调优

使用profiler · benchmark工具 · 内存带宽

性能分析调优

常见问题与解决方案

模型加载失败 · 维度不匹配 · 数据类型错误

常见问题解决方案

图像分类模型（ResNet）的C接口… · 代码解析 · 性能测试

案例实战ResNet

目标检测模型（YOLOv5）的C接口… · NMS后处理 · 边界框绘制

案例实战YOLOv5

自然语言处理模型（BERT）的C接口… · 动态序列 · 输出嵌入

案例实战BERT

语音识别模型（如Wav2Vec）的C… · 特征提取 · 推理

案例实战Wav2Vec

多模型组合推理（pipeline） · 数据传递

案例实战pipeline

安全与稳定性

输入校验 · 异常处理 · 资源限制

安全稳定性

部署到生产环境

模型版本管理 · 服务化封装（HTTP/RPC） · 容器化

部署到生产环境模型版本管理

从训练好的ONNX模型到C接口服务端… · 包括模型转换 · C服务编写

综合项目ONNX

课程总结与进阶方向

知识回顾 · 常见误区 · 学习资源

课程总结进阶方向