VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署GPU显存优化学习笔记

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
GPU显存基础
显存架构 · 带宽 · 容量
GPU显存基础
03
大模型显存占用分析
模型参数 · 梯度 · 优化器状态
大模型显存占用分…模型参数
04
混合精度训练与推理
FP16 · BF16 · TF32的原理
混合精度训练推理
05
量化基础
INT8 · INT4量化原理 · 量化误差分析
量化基础INT8
06
量化方法实战
PTQ（训练后量化）与QAT（量化感… · 工具（如GPTQ · AWQ
量化方法实战PTQ
07
模型并行策略
数据并行 · 张量并行 · 流水线并行的原理
模型并行策略数据并行
08
ZeRO优化器
ZeRO-DP · ZeRO-R · ZeRO-Offload的原理
ZeRO优化器
09
显存卸载技术
CPU卸载 · NVMe卸载 · 异构内存管理
显存卸载技术CPU
10
KV Cache优化
KV Cache的显存占用分析 · PagedAttention · KV量化
KVCache
11
推理引擎与框架
vLLM · TensorRT-LLM · DeepSpeed-Inferenc…
推理引擎框架
12
批处理与动态形状
动态批处理 · 连续批处理 · 请求调度对显存利用率和吞吐的影响
批处理动态形状
13
模型剪枝与稀疏化
结构化剪枝 · 非结构化剪枝 · 稀疏推理的显存节省效果及实现方法
模型剪枝稀疏化
14
低秩分解与蒸馏
LoRA · QLoRA · 模型蒸馏在显存优化中的应用
低秩分解蒸馏
15
显存监控与调试
使用nvidia-smi · Nsight · PyTorch Profiler等工…
显存监控调试
16
单卡部署优化
针对单张GPU的显存优化技巧 · 包括梯度检查点 · 激活重计算
单卡部署优化GPU
17
多卡部署优化
多卡环境下的显存负载均衡 · 通信开销与显存优化的协同设计
多卡部署优化多卡环境下的显存…
18
边缘设备部署
移动端 · 嵌入式设备的显存限制 · 模型压缩与轻量化部署方案
边缘设备部署移动端
19
云服务与弹性部署
云GPU实例选择 · 弹性伸缩 · 显存按需分配与成本优化
云服务弹性部署
20
案例实战
以LLaMA-7B为例 · 从零开始进行显存优化部署 · 记录每一步的显存变化
案例实战LLaMA-7B
21
案例实战
以ChatGLM-6B为例 · 使用量化+LoRA+推理引擎进行显存… · 并对比性能
案例实战ChatGLM-6B
22
案例实战
长序列场景下的显存优化 · 如处理128K上下文时的KV Cac…
案例实战长序列场景下的显…
23
常见问题与解决
显存溢出（OOM） · 显存碎片 · 显存泄漏
常见问题解决
24
性能与显存的权衡
如何根据业务需求平衡延迟 · 吞吐和显存占用 · 制定优化策略
性能显存的权衡
25
自动化显存优化工具
AutoML · 编译器优化（如TVM · XLA）在显存优化中的应用
自动化显存优化工…AutoML
26
前沿技术探索
稀疏注意力 · 线性注意力 · 状态空间模型（如Mamba）对显存的…
前沿技术探索稀疏注意力
27
综合实战项目
设计一个完整的端到端大模型部署方案 · 包含显存优化 · 性能测试和成本评估
综合实战项目设计一个完整的端…
28
课程总结与进阶路径
回顾核心知识点 · 推荐学习资源 · 开源项目及后续研究方向
课程总结进阶路径
29
考试与评估
基于实际场景的显存优化方案设计题 · 检验综合应用能力
考试评估
30
答疑与讨论
针对学员常见疑问进行解答 · 并探讨显存优化的未来趋势
答疑讨论