VIP20
本课程属于：035-边缘AI视频流分析与多路摄像头部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

9. 多路视频GPU部署：Batch推理和显存管理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多路视频GPU部署的行业背景 · 核心挑战（延迟 · 吞吐
课程导入GPU
02
GPU基础与视频推理特性
GPU架构要点（SM · 显存带宽） · 视频解码/预处理与推理的差异
GPU视频推理特性
03
Batch推理核心概念
Batch Size · 吞吐量（Throughput） · 延迟（Latency）
Batch推理核心概念
04
显存管理基础
显存分配机制 · 显存碎片化 · 显存溢出（OOM）的常见原因与排查方…
显存管理基础显存分配机制
05
多路视频解码与预处理
使用NVDEC/FFmpeg进行多路… · CPU/GPU负载均衡 · 预处理（缩放
多路视频解码预处理
06
推理框架选择
TensorRT · ONNX Runtime · PyTorch等框架的Batch推理…
推理框架选择TensorRT
07
TensorRT Batch推理实战
构建Batch优化的Engine · 动态Shape与静态Shape的选择 · 多路视频输入适配
TensorRTBatch
08
显存池与内存复用
显存池设计 · 避免频繁分配/释放 · 复用中间张量以降低峰值显存
显存池内存复用
09
多路视频调度策略
基于队列的异步推理 · 多线程/多进程模型 · 事件驱动与流水线设计
多路视频调度策略基于队列的异步推…
10
Batch动态调整
根据实时负载动态调整Batch Si… · 实现延迟与吞吐的平衡 · 使用动态Batching（如NVID…
Batch动态调整
11
显存监控与优化
使用nvidia-smi · Nsight等工具监控显存占用 · 识别显存泄漏与优化点
显存监控优化
12
多路视频推理的端到端Pipeline
从视频流拉取 · 解码 · Batch推理到结果输出的完整架构设…
Pipeline多路视频推理的端…
13
案例实战
基于TensorRT部署8路/16路… · 实现实时目标检测 · 并优化显存占用
案例实战TensorRT
14
案例实战
使用NVIDIA Triton In… · 配置动态Batching与并发模型
案例实战NVIDIA
15
显存优化技巧
模型量化（INT8/FP16） · 层融合 · 显存压缩
显存优化技巧INT8/FP16
16
多GPU扩展
多路视频在多GPU上的负载均衡 · 显存隔离与通信开销优化
GPU扩展
17
常见问题与解决方案
显存溢出 · Batch推理延迟抖动 · 解码瓶颈
常见问题解决方案
18
性能测试与基准
设计基准测试（Benchmark）评… · 延迟 · 显存占用
性能测试基准
19
视频推理中的异步处理
使用CUDA Stream · 事件同步 · 异步推理接口（如TensorRT的e…
视频推理异步处理
20
显存生命周期管理
张量生命周期分析 · 显存分配策略（预分配 · 按需分配）
显存生命周期管理张量生命周期分析
21
多路视频推理的容错与稳定性
异常处理 · 断流重连 · GPU故障恢复
多路视频推理的容…稳定性
22
与云原生结合
在Kubernetes中部署多路视频… · 利用GPU共享与显存隔离（如MIG）
云原生结合Kubernetes
23
实战
从零搭建一个多路视频推理系统 · 包含解码 · Batch推理
从零搭建一个多路…包含解码
24
实战
将单路视频推理代码改造为多路Batc… · 并对比性能提升与显存变化
Batc将单路视频推理代…
25
实战
使用NVIDIA DeepStrea… · 理解其Batch推理与显存管理机制
NVIDIADeepStrea
26
高级主题
显存交换（Swap） · 统一内存（Unified Memor…
高级主题Swap
27
高级主题
模型并行与数据并行在多路视频推理中的… · 以及显存占用模型
高级主题模型并行
28
综合项目
设计一个支持32路视频的实时分析系统 · 要求高吞吐 · 低延迟
综合项目设计一个支持32…
29
课程总结
核心知识点回顾 · 常见误区 · 最佳实践总结与推荐学习资源
课程总结核心知识点回顾
30
综合提升
设计一个多路视频推理的显存优化方案 · 并编写性能测试报告 · 评估不同Batch Size和并发下…
综合提升设计一个多路视频…