VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT边缘部署实战教程：GPU委托与延迟预算调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程项目概览与边缘部署挑战
课程导入学习目标
02
边缘计算与GPU基础
边缘设备分类 · GPU架构差异 · Jetson与独立显卡对比
GPU边缘计算
03
TensorRT核心概念
引擎 · 网络定义 · 优化器
TensorRT核心概念
04
GPU委托机制
什么是GPU委托 · TensorFlow Lite与Py…
GPU委托机制
05
TensorRT与深度学习框架集成
通过ONNX · TF-TRT · Torch-TensorRT构建推理…
TensorRT深度学习框架集成
06
环境搭建与工具链
JetPack · CUDA · cuDNN
环境搭建工具链
07
第一个TensorRT程序
从ONNX模型到TensorRT引擎…
TensorRT第一个
08
延迟预算概念
定义延迟 · 吞吐量 · P99延迟
延迟预算概念定义延迟
09
性能分析工具
Nsight Systems · Nsight Compute · TensorRT Profiler的…
性能分析工具Nsight
10
模型优化基础
层融合 · 精度降低（FP16/INT8） · 内存复用与内核自动调优
模型优化基础层融合
11
INT8量化实战
校准数据集选择 · 熵校准与最小化量化误差
INT8量化实战
12
动态形状与批处理
动态batch · 动态分辨率对延迟预算的影响及配置方法
动态形状批处理
13
GPU委托实战
在TensorFlow Lite中启…
GPU委托实战
14
PyTorch GPU委托
使用Torch-TensorRT或O…
PyTorchGPU
15
多模型与多GPU调度
边缘设备多模型并发 · GPU资源分配与优先级
GPU多模型
16
延迟预算调优方法论
建立性能基线 · 瓶颈定位 · 迭代优化循环
延迟预算调优方法…建立性能基线
17
端到端延迟优化案例
图像分类模型从原始框架到Tensor…
端到端延迟优化案…Tensor
18
目标检测模型部署
YOLOv5/YOLOv8在Tens…
目标检测模型部署YOLOv5/YOLOv…
19
语义分割模型部署
DeepLabV3+在边缘GPU上的…
语义分割模型部署DeepLabV3+
20
视频流实时推理
多路视频解码 · 预处理与推理流水线延迟控制
视频流实时推理多路视频解码
21
延迟抖动控制
GPU频率锁定 · 内存锁页 · 线程绑定与实时调度
延迟抖动控制GPU
22
边缘设备功耗与热管理
功耗墙对延迟预算的影响及降频策略
边缘设备功耗热管理
23
常见性能陷阱
CPU-GPU数据拷贝 · 同步开销 · 内存碎片与模型加载延迟
常见性能陷阱CPU-GPU
24
调试与错误处理
TensorRT错误码 · 日志分析 · 引擎构建失败排查
调试错误处理
25
模型服务化
使用Triton Inference…
模型服务化Triton
26
自动化测试与CI/CD
性能回归测试 · 延迟预算监控与告警
CI/CD自动化测试
27
综合实战项目
从零构建一个满足特定延迟预算的实时推…
综合实战项目从零构建一个满足…
28
前沿技术展望
TensorRT 10新特性 · NVIDIA Jetson Orin… · 稀疏化与剪枝
前沿技术展望TensorRT
29
课程总结与最佳实践
关键要点回顾 · 常见误区 · 部署检查清单
课程总结最佳实践
30
扩展学习与社区资源
官方文档 · 论坛 · 开源项目与后续进阶路径
扩展学习社区资源