VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU推理显存治理与资源隔离工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与显存治理全景
目标=GPU推理显存层级 · 分配器 · 碎片化
课程导入显存治理全景
02
推理任务显存画像
目标=模型权重 · KV Cache · 激活值
推理任务显存画像目标=模型权重
03
显存分配器机制剖析
目标=PyTorch Caching… · CUDA VMM · slab分配
显存分配器机制剖…PyTorch
04
显存泄漏与碎片诊断实战
目标=使用torch.cuda.me… · py-spy · NVIDIA Nsight Syst…
显存泄漏碎片诊断实战
05
静态显存规划与容量估算
目标=基于模型结构 · batch size · 序列长度
静态显存规划容量估算
06
动态显存池化与复用
目标=PagedAttention · vLLM块管理 · TensorRT-LLM显存池
动态显存池化复用
07
KV Cache治理专项
目标=分页 · 量化 · 驱逐
KVCache
08
激活值重计算与显存节省
目标=gradient checkp… · 层内重计算 · 显存换计算策略
激活值重计算显存节省
09
量化与压缩对显存的治理
目标=INT8/INT4/FP8 · AWQ/GPTQ · 权重与KV Cache量化
量化压缩对显存的治理
10
多模型共存显存编排
目标=模型加载顺序 · 显存预留 · 动态卸载
多模型共存显存编…目标=模型加载顺…
11
多租户推理服务显存隔离
目标=MPS · MIG · 时间片
多租户推理服务显…MPS
12
MIG与MPS工程实践
目标=GPU实例切分 · 显存隔离边界 · 性能干扰测量
MIGMPS
13
容器与Kubernetes显存隔离
目标=NVIDIA Device P… · 显存请求与限制 · 共享GPU调度
Kubernetes容器
14
显存超卖与弹性调度
目标=超卖风险 · 回收机制 · 优先级抢占
显存超卖弹性调度
15
推理框架显存治理对比
目标=vLLM · TensorRT-LLM · TGI
推理框架显存治理…vLLM
16
连续批处理与显存调度
目标=continuous batc… · chunked prefill · 调度器与显存水位联动
连续批处理显存调度
17
显存感知的请求路由
目标=基于显存水位 · KV Cache占用 · 租户配额的路由与限流策略
显存感知的请求路…目标=基于显存水…
18
显存监控与可观测性
目标=DCGM · Prometheus · Grafana
显存监控可观测性
19
显存治理的自动化运维
目标=自动扩缩容 · 显存碎片整理 · 定期重启
显存治理的自动化…目标=自动扩缩容
20
故障注入与混沌工程
目标=模拟显存泄漏 · 碎片 · OOM
故障注入混沌工程
21
性能基准与显存效率评估
目标=吞吐 · 延迟 · 显存利用率
性能基准显存效率评估
22
长上下文推理显存治理
目标=RoPE外推 · 稀疏注意力 · KV Cache压缩
长上下文推理显存…RoPE
23
多模态推理显存治理
目标=视觉编码器 · 图像token · 跨模态KV Cache
多模态推理显存治…目标=视觉编码器
24
MoE推理显存治理
目标=专家并行 · 专家缓存 · 路由负载均衡
MoE推理显存治理
25
分布式推理显存治理
目标=张量并行 · 流水并行 · 序列并行下的显存分布与通信缓冲区管理
分布式推理显存治…目标=张量并行
26
边缘与端侧推理显存治理
目标=统一内存 · 零拷贝 · 模型分片
边缘端侧推理显存治理
27
安全与隔离合规
目标=显存残留数据清除 · 租户间侧信道防护 · 机密计算与GPU TEE
安全隔离合规
28
成本优化与显存治理
目标=GPU选型 · 显存容量与成本模型 · 利用率提升
成本优化显存治理
29
综合实战
目标=设计多租户LLM推理平台 · 实现显存配额 · 隔离
综合实战LLM
30
前沿与演进
目标=CXL显存池 · GPU直连存储 · 统一内存架构
前沿演进