VIP20

本课程属于：026-ONNX模型转换与边缘推理兼容性 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

9. ONNX到TensorRT：引擎构建前的兼容性检查

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心概念 · 整体框架

课程导入学习目标

ONNX与TensorRT基础

ONNX模型格式 · TensorRT引擎构建流程 · 两者之间的映射关系

兼容性检查概览

检查的范畴 · 时机 · 工具链以及常见检查项分类

兼容性检查概览检查的范畴

环境准备与版本匹配

CUDA · cuDNN · TensorRT

环境准备版本匹配

ONNX算子支持矩阵

TensorRT支持的ONNX算子列… · 版本差异 · 以及不支持的算子识别方法

ONNX算子支持矩阵

静态与动态维度处理

固定shape与动态shape的兼容… · 动态维度设置及约束

静态动态维度处理

数据类型与精度检查

FP32 · FP16 · INT8等精度支持

数据类型精度检查

图结构兼容性

ONNX图中的节点连接 · 子图结构 · 控制流等对TensorRT的适配性

图结构兼容性ONNX

常量折叠与权重检查

常量节点 · 权重精度 · 权重范围对引擎构建的影响

常量折叠权重检查

输入输出张量检查

输入输出名称 · 维度 · 数据类型

输入输出张量检查输入输出名称

插件与自定义算子

自定义算子的注册 · 插件接口 · 以及兼容性检查策略

插件自定义算子

使用Polygraphy进行兼容性检查

Polygraphy工具的功能 · 运行检查命令 · 结果解读

Polygraphy使用

使用onnx2trt进行转换测试

onnx2trt的用法 · 常见错误信息 · 以及如何定位兼容性问题

使用trtexec进行引擎构建验证

trtexec参数 · 构建日志分析 · 失败原因排查

ONNX Runtime与TensorRT集成检查

通过ONNX Runtime执行Te…

网络层融合与优化检查

层融合规则 · 融合失败的原因 · 以及如何调整模型以促进融合

网络层融合优化检查

内存与显存限制检查

模型大小 · 中间张量内存占用 · 显存不足的预判与处理

内存显存限制检查

批处理大小与性能权衡

批处理维度对兼容性的影响 · 动态批处理设置

批处理大小性能权衡

常见不兼容模式案例

典型的不支持算子 · 不支持的属性 · 不支持的图模式案例分析

常见不兼容模式案…典型的不支持算子

错误信息解读与调试

常见错误码 · 日志分析技巧 · 如何根据错误信息定位问题

错误信息解读调试

模型简化与优化预处理

使用onnx-simplifier · onnx-graphsurgeon等…

模型简化优化预处理

兼容性检查自动化脚本

编写Python脚本批量检查模型兼容… · 输出报告

兼容性检查自动化…Python

从ONNX到TensorRT完整流程 · 问题修复 · 引擎构建

动态形状模型兼容性处理 · 设置优化profile

动态形状模型兼容…profile

INT8量化前的兼容性检查 · 如校准数据 · 量化节点支持

INT8量化前的兼容性检…

多输出模型与复杂结构：处理多输出 · 分支 · 循环等复杂结构的兼容性

多输出模型复杂结构

性能与精度权衡

兼容性检查中如何平衡性能优化与精度保… · 使用精度分析工具

性能精度权衡

常见问题与解决方案汇总

收集高频问题 · 如维度不匹配 · 算子缺失

常见问题解决方案汇总

构建一个兼容性检查工具链 · trtexec · 自定义脚本

综合项目构建一个兼容性检…

课程总结与进阶方向

回顾核心要点 · 探讨TensorRT新特性 · 未来发展趋势及学习资源

课程总结进阶方向