VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM多GPU推理架构设计实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 多GPU推理的重要性与挑战
课程导入学习目标
02
TensorRT-LLM基础
TensorRT-LLM简介 · 核心组件 · 安装与配置
TensorRT-LLM简介
03
多GPU推理概述
多GPU并行策略（数据并行 · 张量并行 · 流水线并行）及适用场景
GPU推理概述
04
张量并行原理
张量并行切分方式 · 通信模式（AllReduce等）及实…
张量并行原理张量并行切分方式
05
流水线并行原理
层间切分 · 微批次调度 · 负载均衡与气泡优化
流水线并行原理层间切分
06
数据并行与推理
多副本部署 · 负载均衡 · 动态批处理与并发控制
数据并行推理
07
混合并行策略
结合张量 · 流水线 · 数据并行的设计思路与权衡
混合并行策略结合张量
08
多GPU通信基础
NCCL原理 · 通信拓扑 · 带宽优化与延迟隐藏
GPU通信基础
09
TensorRT-LLM多GPU配置
引擎构建参数 · 并行配置 · 内存管理
TensorRT-LLMGPU
10
多GPU推理引擎构建
使用TensorRT-LLM构建多G…
GPU推理引擎构建
11
模型并行推理实战
以LLaMA为例 · 配置张量并行与流水线并行
模型并行推理实战LLaMA
12
多GPU推理性能评估
吞吐量 · 延迟 · 扩展性等指标及测试方法
GPU推理性能评估
13
多GPU推理优化技巧
KV Cache优化 · 算子融合 · 内存池管理等
GPU推理优化技巧
14
多GPU推理中的显存管理
显存分配 · 显存共享 · 显存溢出处理
GPU推理
15
多GPU推理的负载均衡
动态调度 · 请求路由 · 优先级队列
GPU推理的负载均衡
16
多GPU推理的容错与高可用
故障检测 · 模型复制 · 自动恢复
GPU推理的容错
17
多GPU推理的部署实践
Docker容器 · Kubernetes集群 · 云服务集成
GPU推理的部署实践
18
多GPU推理的监控与日志
性能监控 · 日志收集 · 异常告警
GPU推理的监控
19
多GPU推理的常见问题
通信瓶颈 · 同步开销 · 扩展性限制及解决方案
GPU推理的常见问题
20
多GPU推理的案例研究
GPT-3 · LLaMA-70B等大模型的多GPU…
GPU推理的案例研究
21
多GPU推理与推理服务框架
结合vLLM · Triton等框架的集成
GPU推理
22
多GPU推理的量化与压缩
量化感知训练 · 后训练量化在多GPU下的应用
GPU推理的量化
23
多GPU推理的批处理策略
连续批处理 · 动态批处理 · 调度算法
GPU推理的批处理策略
24
多GPU推理的模型并行与序列并行
序列切分 · 上下文并行
GPU推理的模型并行
25
多GPU推理的硬件选型
GPU型号 · NVLink · InfiniBand等对性能的影响
GPU推理的硬件选型
26
多GPU推理的软件栈
CUDA · cuDNN · TensorRT
GPU推理的软件栈
27
多GPU推理的端到端实战
从模型转换 · 引擎构建到服务部署的完整流程
GPU推理的端到端实战
28
多GPU推理的性能调优实战
使用Nsight等工具分析瓶颈并优化
GPU推理的性能调优实…
29
多GPU推理的未来趋势
新架构 · 新算法 · 新硬件对多GPU推理的影响
GPU推理的未来趋势
30
课程总结与综合项目
综合运用所学知识设计一个多GPU推理…
课程总结综合项目