所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

ONNX与TensorRT模型部署加速

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · ONNX与TensorRT在AI部署…
课程导入学习目标
02
部署基础
模型部署的常见流程 · 推理引擎概念 · CPU与GPU推理差异
部署基础模型部署的常见流…
03
环境搭建
安装ONNX · ONNX Runtime · TensorRT
环境搭建ONNX
04
ONNX模型格式
ONNX的由来 · 设计目标 · 计算图结构
ONNX模型格式
05
模型导出
使用PyTorch/TensorFl… · 动态轴设置与导出参数
模型导出PyTorch/Tens…
06
ONNX模型检查
使用Netron可视化 · onnx.checker验证 · onnx.shape_inferen…
ONNX模型检查
07
ONNX算子兼容
常见不兼容算子 · 自定义算子实现 · 算子版本对齐策略
ONNX算子兼容
08
ONNX模型优化
图优化 · 常量折叠 · 冗余节点消除
ONNX模型优化
09
ONNX Runtime入门
ONNX Runtime架构 · CPU/GPU执行提供程序 · 会话配置
ONNXRuntime
10
ONNX Runtime加速
线程数设置 · 内存优化 · IO绑定
ONNXRuntime
11
ONNX Runtime量化
动态量化 · 静态量化 · 量化感知训练与精度评估
ONNXRuntime
12
TensorRT核心概念
TensorRT的架构 · 层 · 引擎
TensorRT核心概念
13
TensorRT安装与验证
安装TensorRT · 测试样例 · 查看版本与设备信息
TensorRT安装
14
ONNX转TensorRT
使用trtexec转换 · onnx-tensorrt解析器 · 转换参数详解
ONNXTensorRT
15
TensorRT引擎构建
构建器配置 · 精度模式（FP32/FP16/INT… · 动态形状设置
TensorRT引擎构建
16
TensorRT推理流程
创建上下文 · 绑定缓冲区 · 执行推理
TensorRT推理流程
17
TensorRT性能调优
工作空间大小 · 层融合 · 自动调优
TensorRT性能调优
18
TensorRT INT8量化
校准数据集 · 校准器实现 · 精度损失控制与回退
TensorRTINT8
19
动态形状处理
动态batch · 动态分辨率 · 优化配置文件与形状范围
动态形状处理batch
20
TensorRT插件开发
自定义层场景 · 插件接口 · 注册与使用
TensorRT插件开发
21
多模型与多GPU
多引擎管理 · 多GPU调度 · 负载均衡与并发推理
GPU多模型
22
端到端部署案例
图像分类模型从PyTorch到Ten…
端到端部署案例PyTorch
23
端到端部署案例
目标检测模型（YOLO）的ONNX导…
端到端部署案例YOLO
24
端到端部署案例
语义分割模型（UNet）的部署与性能…
端到端部署案例UNet
25
精度与性能权衡
FP32/FP16/INT8精度对比 · 性能测试方法 · 调优策略
精度性能权衡
26
常见问题排查
转换失败 · 推理错误 · 性能不达标
常见问题排查转换失败
27
模型安全与版本管理
模型加密 · 引擎序列化 · 版本兼容与回滚
模型安全版本管理
28
与推理服务集成
将TensorRT引擎集成到Fast… · Triton等推理服务
推理服务集成TensorRT
29
综合实战项目
构建一个支持动态形状 · 多精度 · 多模型的统一部署系统
综合实战项目构建一个支持动态…
30
课程总结与进阶
知识体系回顾 · 常见误区 · 学习资源与未来趋势（如TensorR…
课程总结进阶