VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

延迟预算分析教程：TensorRT硬件加速部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与实战项目预览
课程导入学习目标
02
延迟预算基础
延迟 · 吞吐量 · 时延分位数（P50/P95/P99）…
延迟预算基础延迟
03
硬件加速概述
GPU架构基础 · CUDA核心 · Tensor Core
硬件加速概述GPU
04
TensorRT核心概念
引擎（Engine） · 网络定义（Network） · 优化器（Builder）
TensorRT核心概念
05
延迟预算分析流程
从模型到部署的延迟预算拆解方法 · 包括预处理 · 推理
延迟预算分析流程从模型到部署的延…
06
模型转换与优化
使用trtexec和Python A…
模型转换优化
07
精度与性能权衡
FP32 · FP16 · INT8精度的延迟与精度对比
精度性能权衡
08
动态形状与批处理
动态batch和动态尺寸对延迟预算的… · 以及如何配置优化profile
动态形状批处理
09
工作区内存与显存管理
设置工作区大小 · 显存池化 · 内存复用对延迟和稳定性的影响
工作区内存显存管理
10
层融合与图优化
TensorRT的层融合策略（如Co…
层融合图优化
11
内核自动调优
Tactic选择 · 算法选择（如卷积算法）对延迟的影响 · 以及如何固定tactic保证可复现性
内核自动调优Tactic
12
多流与并发执行
使用CUDA流 · 多上下文 · 多引擎并行处理多个请求
多流并发执行
13
延迟测量工具
使用Nsight Systems · Nsight Compute · trtexperf等工具分析延迟瓶颈
延迟测量工具Nsight
14
端到端延迟预算案例
以ResNet-50图像分类为例 · 从ONNX到TensorRT的延迟预…
端到端延迟预算案…ResNet-50
15
目标检测模型实战
以YOLOv5为例 · 分析预处理 · NMS
目标检测模型实战YOLOv5
16
NLP模型实战
以BERT为例 · 处理动态序列长度 · 注意力机制优化对延迟的影响
NLP模型实战
17
延迟预算与吞吐量权衡
如何在满足延迟SLA的前提下最大化吞… · 使用动态批处理和并发
延迟预算吞吐量权衡
18
CPU与GPU协同
数据加载 · 预处理在CPU上执行 · 如何与GPU推理重叠以隐藏延迟
CPUGPU
19
DLA（深度学习加速器）使用
在Jetson等嵌入式平台使用DLA… · 并分析其限制
DLA深度学习加速器
20
多模型部署与延迟隔离
在同一GPU上部署多个模型 · 如何分配资源保证各模型延迟预算
多模型部署延迟隔离
21
延迟抖动分析
影响延迟抖动的因素（如时钟频率 · 内存竞争 · PCIe传输）
延迟抖动分析影响延迟抖动的因…
22
实时推理系统设计
使用TensorRT构建低延迟推理服… · 包括请求队列 · 超时控制
实时推理系统设计TensorRT
23
延迟预算自动化测试
编写脚本自动测量不同配置下的延迟 · 生成报告并对比优化效果
延迟预算自动化测…编写脚本自动测量…
24
常见性能陷阱
避免不必要的显存拷贝 · 同步点 · CPU-GPU同步
常见性能陷阱避免不必要的显存…
25
TensorRT版本与硬件适配
不同GPU架构（Turing · Ampere · Hopper）的优化差异
TensorRT版本
26
延迟预算与能耗权衡
在边缘设备上平衡延迟与功耗 · 使用动态电压频率调整（DVFS）和低…
延迟预算能耗权衡
27
案例综合实战
从零构建一个完整的延迟预算分析流程 · 包括模型转换 · 性能测试
案例综合实战从零构建一个完整…
28
常见问题与解决方案
引擎构建失败 · 精度下降 · 显存不足
常见问题解决方案
29
高级优化技巧
使用CUDA图（CUDA Graph… · 自定义插件（Plugin）降低内核启…
高级优化技巧CUDA
30
课程总结与进阶路径
回顾核心知识点 · 推荐学习资源 · 探讨TensorRT未来发展趋势与延…
课程总结进阶路径