VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT延迟预算分析实战：边缘推理性能调优课程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 边缘推理性能挑战与TensorRT的…
课程导入学习目标
02
边缘推理基础
边缘计算场景 · 推理延迟敏感应用 · 硬件平台（Jetson
边缘推理基础边缘计算场景
03
TensorRT核心概念
引擎 · 网络定义 · 优化器
TensorRT核心概念
04
延迟预算概念
定义延迟预算 · 端到端延迟组成（预处理 · 推理
延迟预算概念定义延迟预算
05
性能指标与测量
延迟 · 吞吐量 · 帧率
性能指标测量
06
TensorRT开发流程
从模型到引擎的完整流程（ONNX解析 · 构建 · 序列化
TensorRT开发流程
07
构建引擎关键参数
工作空间大小 · 最大批量 · 精度设置
构建引擎关键参数工作空间大小
08
延迟预算分析方法论
自上而下分解延迟 · 识别瓶颈 · 建立性能基线
延迟预算分析方法…自上而下分解延迟
09
使用trtexec进行延迟测试
命令行参数 · 输出解读 · 批量与单帧延迟测量
trtexec使用
10
Profiling工具实战
Nsight Systems分析CP… · Nsight Compute分析ke… · 定位瓶颈
Profiling工具实战
11
模型优化技术
层融合 · kernel自动调优 · 算子替换
模型优化技术层融合
12
精度优化与延迟权衡
FP16/INT8量化原理 · 校准数据集 · 精度损失评估
精度优化延迟权衡
13
动态形状与延迟预算
动态batch · 动态分辨率 · 形状优化
动态形状延迟预算
14
多流与并发推理
多上下文 · 多线程 · CUDA流
多流并发推理
15
内存管理优化
显存池 · 内存复用 · 避免碎片
内存管理优化显存池
16
预处理与后处理优化
图像解码 · 归一化 · 颜色转换
预处理后处理优化
17
TensorRT插件开发
自定义层实现 · 插件API · 注册
TensorRT插件开发
18
边缘硬件特性调优
Jetson功率模式 · CPU/GPU频率 · 散热限制
边缘硬件特性调优Jetson
19
延迟预算分配实战
以目标检测为例 · 分解各阶段延迟 · 设定预算
延迟预算分配实战以目标检测为例
20
案例实战
图像分类模型（ResNet）延迟优化 · 实现P99延迟降低
案例实战ResNet
21
案例实战
目标检测模型（YOLOv5）延迟优化 · 插件优化 · 多流推理
案例实战YOLOv5
22
案例实战
语义分割模型（DeepLabV3）延… · 内存优化 · DLA部署
案例实战DeepLabV3
23
案例实战
视频流实时推理：多路视频解码 · 批处理 · 延迟抖动控制
案例实战视频流实时推理
24
常见问题与排查
引擎构建失败 · 精度异常 · 延迟波动
常见问题排查
25
延迟抖动分析
抖动来源（调度 · 频率 · 内存带宽）
延迟抖动分析抖动来源
26
性能调优最佳实践
优化优先级 · 实验设计 · A/B测试
性能调优最佳实践优化优先级
27
与推理框架对比
TensorRT vs ONNX R… · 延迟与易用性权衡
推理框架对比TensorRT
28
部署与运维
引擎版本管理 · 热更新 · 多模型管理
部署运维
29
综合实战项目
从需求分析到延迟预算制定 · 完成一个边缘端实时推理系统并调优至目…
综合实战项目从需求分析到延迟…
30
课程总结与进阶路径
核心要点回顾 · 常见误区 · 学习资源
课程总结进阶路径