VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT延迟预算优化：边缘推理调参实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 延迟预算概念 · 边缘推理挑战
课程导入学习目标
02
TensorRT基础
TensorRT架构 · 核心组件（Builder · Engine
TensorRT架构
03
延迟预算定义与测量
延迟指标（P50/P95/P99） · 端到端延迟分解 · 测量工具（Nsight
延迟预算定义测量
04
模型优化流程
从ONNX到TensorRT的转换流… · 精度校准（FP16/INT8） · 动态形状处理
模型优化流程ONNX
05
构建期调参
Builder配置（最大工作空间 · 优化策略） · 层融合
构建期调参Builder
06
运行时调参
Stream与并发 · 多Context共享 · 输入输出绑定
运行时调参Stream
07
延迟预算分配
端到端延迟预算拆解（预处理 · 推理 · 后处理）
延迟预算分配端到端延迟预算拆…
08
INT8量化实战
校准数据集选择 · 校准器（Entropy/MinMax… · 量化敏感性分析
INT8量化实战
09
动态形状优化
动态batch与动态分辨率 · 优化profile设置 · 形状变化对延迟的影响
动态形状优化batch
10
边缘硬件适配
Jetson系列（Xavier/Or… · GPU与DLA协同 · 功耗与散热对延迟的影响
边缘硬件适配Jetson
11
延迟抖动控制
影响抖动的因素（时钟 · 缓存 · 中断）
延迟抖动控制影响抖动的因素
12
多模型与多流场景
多模型串行/并行推理 · 多流调度 · 共享引擎与独立引擎权衡
多模型多流场景
13
案例实战
图像分类模型（ResNet）延迟优化 · 逐步调参并记录延迟变化
案例实战ResNet
14
案例实战
目标检测模型（YOLOv5）延迟优化 · NMS优化 · 多输出处理
案例实战YOLOv5
15
案例实战
语义分割模型（DeepLabV3）延… · 内存带宽优化 · DLA部署
案例实战DeepLabV3
16
案例实战
语音模型（RNN-T）延迟优化 · 状态管理 · 延迟预算分配
案例实战RNN-T
17
案例实战
Transformer模型（BERT… · KV缓存 · TensorRT的Transform…
案例实战Transformer
18
工具链使用
trtexec高级参数（--minS… · --optShapes · --maxShapes
工具链使用trtexec
19
性能分析实战
使用Nsight Systems定位… · CPU瓶颈 · 内存拷贝开销
性能分析实战Nsight
20
常见问题与解决
精度下降 · 编译失败 · 显存不足
常见问题解决
21
调参策略总结
参数优先级排序 · 调参流程（先精度后速度 · 先构建后运行）
调参策略总结参数优先级排序
22
延迟与精度权衡
不同量化精度（FP32/FP16/I… · 如何根据业务需求选择最优配置
延迟精度权衡
23
延迟与吞吐权衡
批处理大小对延迟和吞吐的影响 · 延迟约束下的最大吞吐优化 · 动态批处理策略
延迟吞吐权衡
24
边缘部署实践
TensorRT引擎打包 · 模型版本管理 · 热更新
边缘部署实践TensorRT
25
实时系统集成
与ROS/ROS2集成 · 视频流处理管线 · 传感器数据同步
实时系统集成ROS/ROS2
26
进阶优化
TensorRT插件开发（自定义层） · 融合自定义算子 · 使用TensorRT的C++/Pyt…
进阶优化TensorRT
27
多GPU与多芯片扩展
多GPU负载均衡 · 多DLA并行 · 跨芯片通信开销
GPU多芯片扩展
28
性能回归测试
建立延迟基准 · 自动化回归测试 · CI/CD集成
性能回归测试建立延迟基准
29
综合实战项目
从给定模型和延迟预算出发 · 完成完整优化流程（分析 · 调参
综合实战项目从给定模型
30
课程总结与进阶路径
核心知识点回顾 · 常见误区 · 学习资源推荐
课程总结进阶路径