VIP20

本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

20. TensorRT交付清单：模型引擎、构建脚本和性能报告

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

TensorRT交付清单的整体目标 · 适用场景 · 核心组成（引擎

课程导入TensorRT

TensorRT基础回顾

推理优化原理 · 层融合 · 精度校准

TensorRT基础回顾

模型引擎（Engine）详解

引擎文件格式（.engine/.pl… · 序列化与反序列化 · 设备内存管理及生命周期

Engine模型引擎

构建脚本的作用与设计

自动化构建流程 · 参数化配置 · 多平台兼容性

构建脚本的作用设计

构建脚本核心模块

模型解析（ONNX/PyTorch/… · 网络定义 · 优化器配置

构建脚本核心模块ONNX/PyTorch…

精度模式选择

FP32 · FP16 · INT8

精度模式选择FP32

动态形状处理

优化配置文件（profile）设置 · 最小/最优/最大维度 · 运行时绑定与内存优化

动态形状处理profile

引擎构建实战

从ONNX模型到TensorRT引擎… · 包含常见错误排查

引擎构建实战ONNX

引擎保存与加载

序列化到文件 · 反序列化加载 · 版本兼容性

引擎保存加载

性能报告的意义

衡量推理延迟 · 吞吐量 · 显存占用

性能报告的意义衡量推理延迟

性能基准测试方法

使用trtexec · 自定义C++/Python基准测试 · 控制变量

性能基准测试方法trtexec

性能报告内容结构

测试环境 · 模型信息 · 引擎配置

性能报告内容结构测试环境

性能分析工具

NVIDIA Nsight Syst… · Nsight Compute · TensorRT Profiler

性能分析工具NVIDIA

性能优化技巧

批处理大小调整 · 并发执行 · CUDA图

性能优化技巧批处理大小调整

交付清单整合

如何将引擎 · 构建脚本 · 性能报告组织成标准交付包

交付清单整合如何将引擎

图像分类模型（ResNet）的完整交… · 从脚本构建到报告生成

案例实战ResNet

目标检测模型（YOLOv5）的引擎构… · 处理动态形状和NMS插件

案例实战YOLOv5

NLP模型（BERT）的Tensor… · 处理动态序列长度和注意力优化

案例实战NLP

构建失败（算子不支持 · 内存不足） · 精度下降

常见问题构建失败

多GPU环境 · Docker容器部署 · 与推理服务（Triton）集成时的注…

常见问题GPU

自动化与CI/CD

将构建脚本集成到持续集成流水线 · 自动生成性能报告并回归测试

性能报告自动化

使用Python脚本解析trtexe… · 生成图表（延迟/吞吐量曲线） · 对比不同配置

性能报告自动化Python

安全与合规

引擎文件加密 · 模型知识产权保护 · 许可证管理

版本迁移与兼容

TensorRT版本升级 · CUDA/cuDNN依赖 · 旧引擎重新构建策略

版本迁移兼容

多引擎并行 · 模型分片 · TensorRT插件开发（自定义算子…

高级主题多引擎并行

性能报告深度解读

如何从数据中识别瓶颈 · 制定优化策略 · 验证优化效果

性能报告深度解读如何从数据

从零构建一个完整交付包 · 包含引擎 · 构建脚本

综合实战从零构建一个完整…

项目复盘与最佳实践

总结常见陷阱 · 团队协作流程 · 文档规范

项目复盘最佳实践

TensorRT新特性（如LLM支持… · 边缘部署 · 与云原生结合

未来趋势TensorRT

课程总结与考核

核心知识回顾 · 实战项目要求 · 评估标准

课程总结考核