VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT视觉模型低延迟优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与低延迟目标定义
目标=理解TensorRT在视觉模型… · 明确延迟 · 吞吐
课程导入低延迟目标定义
02
视觉模型低延迟瓶颈分析
目标=从数据预处理 · 推理计算 · 后处理
视觉模型低延迟瓶…目标=从数据预处…
03
TensorRT核心工作流程
目标=掌握ONNX解析 · 网络定义 · 优化配置
TensorRT核心工作流程
04
ONNX模型导出与视觉任务适配
目标=针对分类 · 检测 · 分割等视觉模型
ONNX模型导出
05
TensorRT精度模式选择
目标=对比FP32 · FP16 · INT8的延迟与精度表现
TensorRT精度模式选择
06
层融合与内核自动调优
目标=理解TensorRT如何合并卷… · BN · 激活等层
层融合内核自动调优
07
动态形状与批处理优化
目标=针对变分辨率输入和多批量场景 · 配置优化配置文件 · 平衡显存占用与推理延迟
动态形状批处理优化
08
CUDA流与异步推理
目标=使用多流 · 事件和异步API重叠数据传输与计算 · 降低视觉流水线的端到端延迟
CUDA异步推理
09
内存管理与零拷贝策略
目标=优化主机与设备间内存分配 · 使用固定内存 · 统一内存和零拷贝技术减少传输开销
内存管理零拷贝策略
10
视觉预处理GPU加速
目标=将归一化 · 缩放 · 颜色空间转换等预处理迁移到GPU
GPU视觉预处理
11
后处理GPU加速与插件开发
目标=针对NMS · 解码 · 掩码生成等后处理
GPU后处理
12
分类模型低延迟实战
目标=以ResNet · EfficientNet为例 · 完成ONNX导出
分类模型低延迟实…ResNet
13
目标检测模型低延迟实战
目标=以YOLO系列为例 · 优化锚框解码 · NMS插件
目标检测模型低延…YOLO
14
语义分割模型低延迟实战
目标=以DeepLabV3 · SegFormer为例 · 处理高分辨率输入
语义分割模型低延…DeepLabV3
15
多模型流水线并行
目标=在视频分析场景中 · 将检测 · 跟踪
多模型流水线并行目标=
16
TensorRT与DeepStream集成
目标=利用DeepStream构建多… · 配置推理插件 · 跟踪器和消息代理
TensorRTDeepStream
17
边缘设备部署与功耗约束
目标=在Jetson等边缘平台部署T… · 调整功耗模式 · 时钟频率与DLA加速
边缘设备部署功耗约束
18
批处理与并发推理调优
目标=通过动态批处理 · 多上下文并发和MPS技术提升GPU利… · 降低平均延迟与尾延迟
批处理并发推理调优
19
量化感知训练与INT8精度恢复
目标=在训练阶段引入量化感知训练 · 减少INT8量化带来的精度损失 · 满足低延迟高精度需求
INT8量化感知训练
20
稀疏化与结构化剪枝
目标=利用TensorRT对稀疏模型… · 结合剪枝技术减少计算量 · 进一步降低视觉模型推理延迟
稀疏化结构化剪枝
21
TensorRT-LLM与视觉语言模型
目标=探索TensorRT-LLM在… · 优化多模态推理的延迟与显存占用
TensorRT-LLM视觉语言模型
22
延迟基准测试与性能回归
目标=建立标准化基准测试流程 · 使用trtexec和自定义脚本测量延… · 吞吐
延迟基准测试性能回归
23
精度与延迟的联合调优
目标=系统化调整精度模式 · 层融合 · tactic选择等参数
精度延迟的联合调优
24
显存优化与引擎瘦身
目标=分析引擎显存占用 · 通过权重压缩 · 激活重计算
显存优化引擎瘦身
25
多GPU与分布式推理
目标=在多GPU环境下使用Tenso… · 优化跨GPU通信与负载均衡
GPU分布式推理
26
TensorRT与Triton推理服务器
目标=将TensorRT引擎部署到T… · 配置动态批处理 · 并发模型和集成流水线
TensorRTTriton
27
实时视频流低延迟案例
目标=构建RTSP输入 · TensorRT推理 · 低延迟渲染的完整视频分析系统
实时视频流低延迟…RTSP
28
自动驾驶感知低延迟案例
目标=针对自动驾驶多传感器融合场景 · 优化BEV感知 · 目标检测等模型的TensorRT部署…
自动驾驶感知低延…目标=针对自动驾…
29
工业质检低延迟案例
目标=在高分辨率工业图像缺陷检测中 · 应用TensorRT优化分割与分类模… · 满足产线实时性要求
工业质检低延迟案…目标=
30
前沿趋势与持续优化
目标=跟踪TensorRT新特性 · 硬件更新与算法进展 · 建立持续性能优化与模型迭代的方法论
前沿趋势持续优化