VIP20
本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

10. TensorRT性能Benchmark：trtexec参数和指标解读

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解TensorRT性能Benchm… · trtexec工具的作用 · 学习目标与课程整体框架
课程导入TensorRT
02
环境准备
安装TensorRT · 验证trtexec可用性 · 获取示例模型（如ONNX
环境准备TensorRT
03
trtexec基础用法
命令行基本结构 · 常用参数概览 · 如何运行一个简单的benchmark…
trtexec基础用法
04
模型加载与转换
使用trtexec加载ONNX · UFF · Caffe等模型
模型加载转换
05
构建引擎参数
--workspace · --maxBatch · --minShapes
构建引擎参数workspace
06
精度设置
FP32 · FP16 · INT8精度的启用方法（--fp16
精度设置FP32
07
TensorRT优化策略
层融合 · 内核自动调优 · 内存优化等
TensorRT优化策略
08
Benchmark模式
trtexec的benchmark模… · 如何生成稳定的性能报告
Benchmark模式
09
性能指标解读
理解吞吐量（Throughput） · 延迟（Latency） · 平均延迟
性能指标解读Throughput
10
延迟分布分析
如何通过trtexec输出分析延迟分… · 识别性能瓶颈 · 使用--percentile参数
延迟分布分析trtexec
11
吞吐量测试
如何设置--batch · --streams · --iterations等参数来测试…
吞吐量测试batch
12
多流并发测试
使用--streams参数模拟多请求… · 理解并发对吞吐量和延迟的影响
多流并发测试streams
13
动态shape支持
使用--minShapes · --optShapes · --maxShapes配置动态输入
shape动态
14
输入数据生成
trtexec如何生成随机输入（--… · --inputDimensions） · 以及自定义输入数据的方法
输入数据生成trtexec
15
输出结果保存
如何保存推理结果（--saveOut… · 以及结果格式和验证方法
输出结果保存saveOut
16
日志与调试
trtexec的日志级别（--ver… · --info · --warning）
日志调试
17
性能对比实验
使用trtexec对比不同精度（FP… · 并分析原因
性能对比实验trtexec
18
与原生框架对比
使用trtexec与PyTorch/… · 评估TensorRT加速效果
原生框架对比trtexec
19
实际案例
图像分类模型（ResNet50）的t… · 从模型转换到性能报告解读
实际案例ResNet50
20
实际案例
目标检测模型（YOLOv5）的trt… · 处理动态shape和NMS层
实际案例YOLOv5
21
实际案例
NLP模型（BERT）的trtexe… · 处理变长输入和动态shape
实际案例NLP
22
常见问题
trtexec运行报错（如内存不足 · 不支持的层）的排查与解决方法
常见问题trtexec
23
常见问题
性能结果不稳定 · 波动大的原因分析 · 以及如何通过参数调整获得稳定结果
常见问题性能结果不稳定
24
常见问题
如何正确设置workspace大小 · 避免OOM或性能下降
常见问题workspace
25
高级参数
--tacticSources · --layerPrecisions · --calibration等高级参数…
高级参数tacticSource…
26
自定义扩展
如何编写自定义层或插件 · 并在trtexec中测试其性能
自定义扩展如何编写自定义层…
27
自动化脚本
编写shell/Python脚本批量… · 自动收集和汇总性能数据
自动化脚本shell/Python
28
结果可视化
将trtexec输出解析为CSV/J… · 使用Python绘图展示延迟分布和吞…
结果可视化trtexec
29
性能调优策略
基于trtexec结果进行模型优化（… · 量化 · 结构调整）的迭代流程
性能调优策略trtexec
30
综合实战与总结
设计一个完整的benchmark方案 · 涵盖多模型 · 多精度
综合实战benchmark