VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

延迟预算调优实战：TensorRT边缘部署指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导学
课程目标 · 适用人群 · 学习路径与实战环境搭建（含GPU/边…
课程导学课程目标
02
延迟预算基础
定义延迟预算 · 端到端延迟组成（采集 · 预处理
延迟预算基础定义延迟预算
03
边缘部署挑战
边缘设备算力/内存/功耗限制 · 典型边缘硬件（Jetson · 树莓派
边缘部署挑战边缘设备算力
04
TensorRT核心概念
TensorRT架构 · 层融合 · 精度校准（FP16/INT8）
TensorRT核心概念
05
模型转换与优化
从PyTorch/TensorFlo… · 常见转换错误与修复
模型转换优化
06
延迟预算分析方法
使用Nsight Systems · TensorRT Profiler · chrono计时等工具定位延迟瓶颈
延迟预算分析方法Nsight
07
预处理与后处理优化
图像解码 · 缩放 · 归一化
预处理后处理优化
08
推理引擎配置调优
工作流优化 · 多流执行 · CUDA图
推理引擎配置调优工作流优化
09
INT8量化实战
校准数据集选择 · 量化误差分析 · 混合精度（QDQ）与敏感层回退
INT8量化实战
10
动态形状与批处理策略
动态batch · 动态分辨率 · 多profile管理
动态形状批处理策略
11
多模型流水线
多模型串行/并行调度 · 异步推理 · 事件同步
多模型流水线多模型串行
12
边缘端系统集成
TensorRT与DeepStrea… · ROS · GStreamer的集成
边缘端系统集成TensorRT
13
延迟预算分配案例
目标检测 · 语义分割 · 姿态估计等典型任务的延迟预算分配实例
延迟预算分配案例目标检测
14
实时性保障
硬实时与软实时 · 优先级调度 · CPU/GPU频率控制
实时性保障硬实时
15
内存与显存优化
显存池 · 内存复用 · 避免碎片
内存显存优化
16
多线程与异步编程
线程池 · 异步推理 · 事件回调
多线程异步编程
17
网络传输延迟优化
压缩 · 量化 · 流式传输
网络传输延迟优化压缩
18
延迟测试与基准
设计延迟测试方案 · 统计指标（P50/P95/P99） · 稳定性与抖动分析
延迟测试基准
19
常见延迟陷阱
CPU/GPU同步开销 · 数据拷贝 · 小批量启动开销
常见延迟陷阱CPU/GPU
20
实战案例一
Jetson Nano上部署YOLO… · 将端到端延迟从200ms降至50ms
实战案例一Jetson
21
实战案例二
基于TensorRT的实时语义分割系… · 延迟预算30ms内的调优过程
实战案例二TensorRT
22
实战案例三
多路视频流分析场景 · 延迟与吞吐的联合优化
实战案例三多路视频流分析场…
23
性能调优方法论
瓶颈识别 · 假设验证 · 迭代优化
性能调优方法论瓶颈识别
24
工具链进阶
Nsight Compute · TensorRT自诊断 · 自定义层插件开发与延迟影响
工具链进阶Nsight
25
模型结构对延迟的影响
轻量化网络（MobileNet · EfficientNet）与Tens…
模型结构对延迟的…MobileNet
26
延迟预算与功耗平衡
动态电压频率调整（DVFS） · 功耗限制 · 温度对延迟的影响
延迟预算功耗平衡
27
边缘-云协同
边缘推理与云端卸载的延迟权衡 · 模型分片与早退出策略
边缘云协同
28
自动化调优
使用TensorRT自动调优工具 · 贝叶斯搜索 · 强化学习辅助参数选择
自动化调优TensorRT
29
综合实战项目
从需求分析到部署的完整延迟预算调优项… · 输出调优报告
综合实战项目从需求分析到部署…
30
课程总结与进阶方向
常见问题回顾 · 最佳实践清单 · 未来趋势（Triton
课程总结进阶方向