VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT多模型共享GPU资源调度实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
GPU资源基础
GPU硬件架构 · 显存层次 · 计算单元
GPU资源基础
03
TensorRT核心概念
TensorRT的构建期与运行期 · 引擎（Engine） · 上下文（Context）
TensorRT核心概念
04
TensorRT引擎构建
从ONNX/PyTorch模型导出 · 精度校准（FP16/INT8） · 动态形状（Dynamic Shape…
TensorRT引擎构建
05
多模型部署场景分析
典型业务场景（推荐 · CV · NLP）
多模型部署场景分…典型业务场景
06
显存管理基础
显存分配与释放 · 显存池 · 显存碎片化
显存管理基础显存分配
07
CUDA流与事件
CUDA Stream · Event · 同步与异步
CUDA事件
08
TensorRT上下文与流绑定
Context与Stream的关联 · 多上下文并发执行 · 上下文切换开销
TensorRT上下文
09
多模型共享GPU的调度策略
时间片轮转 · 优先级调度 · 公平调度
GPU多模型共享
10
显存共享与隔离技术
显存池化 · 显存复用 · 显存分区
显存共享隔离技术
11
TensorRT多引擎管理
多引擎加载 · 引擎生命周期管理 · 引擎间切换与共享上下文
TensorRT多引擎管理
12
多模型并发执行实战
使用多个CUDA流并发执行多个Ten… · 实现模型并行推理
多模型并发执行实…CUDA
13
动态批处理与多模型融合
动态Batch · 多模型合并为一个引擎 · 共享中间层与特征
动态批处理多模型融合
14
GPU利用率监控与性能分析
使用NVIDIA工具（nvidia-… · Nsight · TensorRT Profiler）…
GPU利用率监控
15
调度器设计模式
集中式调度器 · 分布式调度器 · 基于队列的调度
调度器设计模式式调度器
16
资源感知调度算法
基于显存大小 · 计算量 · 延迟SLA的调度算法
资源感知调度算法基于显存大小
17
多模型共享GPU的显存优化
模型压缩 · 权重共享 · 量化
GPU多模型共享
18
多模型共享GPU的计算优化
算子融合 · 内核自动调优 · CUDA Graph捕获与重放
GPU多模型共享
19
案例实战
图像分类与目标检测模型共享GPU · 实现并发推理与资源调度
案例实战GPU
20
案例实战
NLP模型与CV模型混合部署 · 动态形状 · 显存需求差异大的场景
案例实战NLP
21
案例实战
多模型服务化部署 · 动态批处理与调度
案例实战多模型服务化部署
22
案例实战
实时视频分析多模型流水线 · 延迟与吞吐平衡
案例实战实时视频分析多模…
23
常见问题与解决方案
显存不足 · 上下文冲突 · 流同步错误
常见问题解决方案
24
性能调优实战
通过调整批大小 · 流数量 · 显存分配策略
性能调优实战通过调整批大小
25
多模型调度的QoS保障
设置优先级 · 预留资源 · 限制最大延迟
QoS多模型调度的
26
多GPU环境下的扩展
多GPU负载均衡 · 模型跨GPU分布 · NVLink与PCIe通信优化
GPU环境下的扩展
27
容器化与Kubernetes部署
在Docker和K8s中管理GPU资… · 使用Device Plugin实现多…
Kubernetes容器化
28
综合项目实战
构建一个多模型共享GPU的推理平台 · 支持动态加载 · 调度
综合项目实战GPU
29
前沿与趋势
MIG（多实例GPU） · 时间切片 · GPU虚拟化
前沿趋势
30
课程总结与进阶路径
核心知识回顾 · 常见误区 · 推荐学习资源与实战项目建议
课程总结进阶路径