VIP20

本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX Runtime模型输入输出张量处理实战教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与实战项目预览

课程导入学习目标

ONNX Runtime基础

ONNX格式简介 · ONNX Runtime安装与配置 · 模型加载与推理基本流程

张量的概念 · 形状 · 数据类型

张量基础张量的概念

输入张量准备

从图像 · 文本 · 音频等原始数据转换为模型所需张量的通…

输入张量准备从图像

图像预处理实战

使用OpenCV/PIL进行缩放 · 归一化 · 通道转换

图像预处理实战OpenCV/PIL

文本输入处理

Tokenizer使用 · 词表映射 · 注意力掩码与token类型ID的构造

文本输入处理Tokenizer

数值与表格数据输入

特征缩放 · 缺失值填充 · 类别编码及张量形状调整

数值表格数据输入

动态轴与可变输入

理解ONNX动态维度 · 设置动态轴 · 处理变长序列与批量大小

动态轴可变输入

输入张量验证

检查形状 · 数据类型 · 数值范围

输入张量验证检查形状

输出张量解析

获取输出名称 · 形状 · 类型

输出张量解析获取输出名称

分类模型输出处理

Softmax概率计算 · Top-K索引提取 · 类别标签映射

分类模型输出处理Softmax

目标检测输出处理

边界框解码 · 置信度过滤 · NMS非极大值抑制及坐标还原

目标检测输出处理边界框解码

分割模型输出处理

像素级类别映射 · 掩码生成 · 可视化与后处理

分割模型输出处理像素级类别映射

文本生成模型输出处理

logits到token序列的转换 · 采样策略（贪心 · beam search

文本生成模型输出…logits

多输出模型处理

同时处理多个输出张量 · 结构化返回结果

多输出模型处理同时处理多个输出…

批量推理与张量堆叠

多样本数据合并 · batch维度管理 · 批量结果拆分

批量推理张量堆叠

ONNX Runtime会话配置

CPU/GPU执行提供程序 · 线程数 · 优化级别对张量处理的影响

内存管理与性能优化

减少张量拷贝 · 使用OrtValue · IO Binding提升推理效率

内存管理性能优化

IO Binding实战

将输入输出张量绑定到指定设备内存 · 避免数据迁移开销

量化模型输入输出

量化模型对张量类型的要求 · 反量化操作及精度对比

量化模型输入输出量化模型对张量类…

自定义算子与张量扩展

处理ONNX Runtime不支持的… · 自定义Op的输入输出张量定义

自定义算子张量扩展

错误处理与调试

常见异常（形状不匹配 · 类型错误 · 设备错误）的定位与修复

错误处理调试

案例实战一

图像分类模型（ResNet）的输入预…

案例实战一ResNet

案例实战二

目标检测模型（YOLO）的输入图像预…

案例实战二YOLO

案例实战三

BERT文本分类模型的输入token…

案例实战三BERT

案例实战四

语义分割模型（UNet）的输入归一化…

案例实战四UNet

案例实战五

多模态模型（CLIP）的图像与文本输…

案例实战五CLIP

常见问题汇总

维度不匹配 · 数据类型错误 · 动态轴失效

常见问题汇总维度不匹配

构建一个通用推理服务 · 支持多种模型输入输出张量自动处理与结…

综合项目构建一个通用推理…

课程总结与进阶方向

知识体系回顾 · 最佳实践 · ONNX Runtime生态与后续学…

课程总结进阶方向