VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM 内存管理与显存优化实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 内存管理与显存优化在LLM推理中的重…
课程导入学习目标
02
TensorRT-LLM 基础
TensorRT-LLM 架构 · 核心组件 · 推理流程简介
TensorRT-LLM架构
03
显存基础
GPU 显存层次结构 · 显存带宽 · 显存容量与性能关系
显存基础GPU
04
内存分配机制
TensorRT-LLM 中的内存池 · 分配器 · 内存复用策略
内存分配机制TensorRT-LLM
05
KV Cache 原理
KV Cache 的作用 · 存储结构 · 动态形状处理
KVCache
06
KV Cache 优化
Paged KV Cache · 缓存复用 · 量化压缩技术
KVCache
07
显存估算与规划
模型大小 · 激活内存 · KV Cache 大小估算方法
显存估算规划
08
批处理与显存
动态批处理 · 连续批处理 · 批大小对显存的影响
批处理显存
09
内存碎片管理
碎片产生原因 · 内存整理 · 碎片避免策略
内存碎片管理碎片产生原因
10
显存监控工具
nvidia-smi · Nsight Systems · TensorRT-LLM 内置监控
显存监控工具nvidia-smi
11
显存泄漏检测
常见泄漏场景 · 检测方法 · 修复技巧
显存泄漏检测常见泄漏场景
12
模型量化基础
INT8/FP8/INT4 量化原理…
模型量化基础INT8/FP8/INT…
13
量化实践
TensorRT-LLM 中量化配置 · 校准 · 精度与显存权衡
量化实践TensorRT-LLM
14
稀疏化与剪枝
结构化剪枝 · 稀疏推理对显存和速度的改善
稀疏化剪枝
15
内存优化之权重共享
多模型部署时的权重共享策略
内存优化之权重共…多模型部署时的权…
16
多模型服务
多模型并发推理的显存管理 · 模型切换与卸载
多模型服务多模型并发推理的…
17
推理引擎配置
max_batch_size · max_seq_len · max_tokens 等参数对显存的…
推理引擎配置max
18
显存优化之 FlashAttention
FlashAttention 原理 · 在 TensorRT-LLM 中的集…
FlashAttenti…显存优化之
19
显存优化之 PagedAttention
PagedAttention 实现 · 显存节省效果
PagedAttenti…显存优化之
20
显存优化之投机解码
投机解码原理 · 显存开销与收益分析
显存优化之投机解…投机解码原理
21
显存优化之张量并行
张量并行对显存分布的影响 · 配置方法
显存优化之张量并…张量并行对显存分…
22
显存优化之流水线并行
流水线并行与显存占用 · 微批次优化
显存优化之流水线…流水线并行
23
显存优化之专家并行
MoE 模型中的显存管理 · 专家负载均衡
显存优化之专家并…MoE
24
显存优化之内存卸载
CPU offload · NVMe offload 技术及适用…
显存优化之内存卸…CPU
25
显存优化之计算图优化
算子融合 · 内存复用 · 减少临时张量
显存优化之计算图…算子融合
26
实战案例一
单卡部署 Llama-7B 的显存优…
实战案例一Llama-7B
27
实战案例二
多卡部署 Llama-70B 的显存…
实战案例二Llama-70B
28
常见问题与调优
显存不足 · OOM · 性能瓶颈的排查与解决
常见问题调优
29
综合项目
构建一个高吞吐 · 低显存的推理服务
综合项目构建一个高吞吐
30
课程总结
核心要点回顾 · 最佳实践 · 进阶学习路径
课程总结核心要点回顾