VIP20

本课程属于：024-训练加速 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存优化从入门到精通

📚 共计 30 章节

GPU架构简介 · 显存类型与带宽 · 显存与内存的区别 · 为什么需要优化显存

入门核心概念

PyTorch显存管理

PyTorch显存分配机制 · torch.cuda API详解 · 显存监控与调试工具

TensorFlow显存管理

TensorFlow显存分配策略 · tf.config.gpu API详解 · 显存碎片化问题

TensorFlow碎片化

数据加载优化

DataLoader工作原理 · num_workers调优 · pin_memory · prefetch_factor

Batch Size调优

Batch Size对显存的影响 · 梯度累积 · 动态Batch Size · 混合精度中的Batch Size

调参梯度累积

混合精度训练

FP16与FP32原理 · AMP自动混合精度 · 损失缩放 · 实战精度问题

梯度检查点

原理与实现 · 与反向传播的关系 · 时间与显存权衡 · Transformer应用

检查点重计算

模型并行原理 · Pipeline并行 · 张量并行 · 序列并行

分布式大模型

DataParallel与DistributedDataParallel · 梯度同步 · 通信开销优化

ZeRO Stage 1/2/3 · ZeRO-Offload · ZeRO-Infinity · DeepSpeed集成

激活值优化

激活值存储机制 · 激活值压缩 · 选择性检查点 · 激活值重计算

梯度量化 · 梯度稀疏化 · 梯度累积与压缩结合 · 通信效率提升

结构化/非结构化剪枝 · 剪枝对显存影响 · 微调策略 · 实际案例

INT8量化原理 · 量化感知训练 · 后训练量化 · 量化对显存的影响

蒸馏原理 · 教师-学生模型 · 蒸馏对显存优化 · 蒸馏与量化结合

蒸馏小型化

内存碎片化

显存碎片化原因 · CUDA内存池 · PyTorch缓存分配器优化 · 检测与解决

显存复用技术

张量复用 · 内存共享 · in-place操作 · 显存池化技术

动态图优化

JIT编译 · TorchScript · 图优化技术 · 算子融合

静态图优化

TensorFlow XLA · TVM · ONNX Runtime · 图优化与显存关系

分布式训练优化

NCCL通信优化 · 梯度同步策略 · 通信计算重叠 · Ring All-Reduce

大模型训练优化

Megatron-LM · DeepSpeed · ColossalAI · Hugging Face Accelerate

大模型框架

推理与训练显存差异 · KV Cache优化 · 连续批处理 · PagedAttention

显存分析工具

nvidia-smi详解 · PyTorch Profiler · Nsight Systems · Nsight Compute

显存泄漏检测

显存泄漏原因 · torch.cuda.memory_summary · gc.collect · 自定义跟踪器

实战案例一：BERT优化

从基线到优化完整流程 · 优化前后对比分析

实战案例二：GPT优化

从基线到优化完整流程 · 优化前后对比分析

实战案例三：ViT优化

从基线到优化完整流程 · 优化前后对比分析

实战案例四：多模态优化

从基线到优化完整流程 · 优化前后对比分析

多模态实战

显存优化最佳实践

优化策略选择指南 · 不同场景方案 · 常见问题与解决方案

指南最佳实践

显存优化前沿技术

FlashAttention · FlashAttention-2 · PagedAttention · vLLM · TensorRT-LLM · 未来趋势

前沿FlashAttention